Онлайн-митап "Retry Policy TASK в Trino – не только и не столько надежность" состоится 21 мая 2025 года в 17:00 (мск).
Trino – это распределенный SQL движок, разработанный для работы с большими датасетами, распределенными между одним или несколькими неоднородными источниками данных.
Retry Policy TASK в Trino — это одна из двух политик отказоустойчивого выполнения запросов, которая определяет, как система будет автоматически повторять выполнение отдельных задач (tasks) внутри SQL-запроса при возникновении сбоев на уровне кластера.
На meetup на развернутом в яндекс-облаке кластере разберутся с тем, как «поведение» Trino изменяется при переключении его в режим так называемого Fault Tolerant Execution.
Trino был разработан для интерактивной работы, не для batch задач, больших и сложных ETL процессов. В качестве способа обеспечения процесса распределенных вычислений данными использовалась передача «недостающих» данных по сети. В 2022 году в результате успешного завершения проекта Tardigrade Trino получил возможность «из коробки» обеспечивать выполнение долгоживущих запросов, при этом снизилась сложность настройки и конфигурирования кластера под смесь нагрузок, повысилась надежность параллельного использования Trino множеством пользователей. Мы разберемся с тем, как (просто) настраивается режим Fault Tolerant Execution, увидим и разберем разницу в процессе выполнения одних и тех же запросов в обоих режимах.
Во время митапа участники смогут самостоятельно поработать с Trino, подготовленная в юпитер ноутбуках среда сделает процесс работы с Trino максимально удобным.
Участники получат раздаточные материалы, а также набор упражнений с целью закрепления полученных навыков.
Аудитория: аналитики, архитекторы платформ данных, инженеры данных, разработчики и просто интересующиеся современными технологиями обработки данных.
Уровень подготовки:
- специальной подготовки не требуется, все будет происходить в интерактивной среде подготовленной нашей школой в Yandex Cloud
Продолжительность meetup: 2 академических часа, дистанционно. Trino кластер будет доступен участникам митапа 2 часа после окончания meetup.
Программа meetup (кратко)
- Краткий обзор
- История и архитектура (кратко)
- Обзор рабочего кластера (trino) и рабочего места
- Процесс исполнения
- Принципы исполнения запросов в trino
- Fault Tolerant Execution – как настраивать и что изменилось
- Подход к анализу процесса исполнения и нагрузочному тестированию
- Сравнение на реальных запросах
- Работа в «обычном» режиме
- Работа в режиме Fault Tolerant Execution
- Заключение и выводы
Retry Policy TASK в Trino – не только и не столько надежность
Дата проведения: 21.05.2025. Начало в 17:00
Место проведения: Онлайн
- Анонс
- Программа
- Участники
- Спикеры
Онлайн-митап "Retry Policy TASK в Trino – не только и не столько надежность" состоится 21 мая 2025 года в 17:00 (мск).
Trino – это распределенный SQL движок, разработанный для работы с большими датасетами, распределенными между одним или несколькими неоднородными источниками данных.
Retry Policy TASK в Trino — это одна из двух политик отказоустойчивого выполнения запросов, которая определяет, как система будет автоматически повторять выполнение отдельных задач (tasks) внутри SQL-запроса при возникновении сбоев на уровне кластера.
На meetup на развернутом в яндекс-облаке кластере разберутся с тем, как «поведение» Trino изменяется при переключении его в режим так называемого Fault Tolerant Execution.
Trino был разработан для интерактивной работы, не для batch задач, больших и сложных ETL процессов. В качестве способа обеспечения процесса распределенных вычислений данными использовалась передача «недостающих» данных по сети. В 2022 году в результате успешного завершения проекта Tardigrade Trino получил возможность «из коробки» обеспечивать выполнение долгоживущих запросов, при этом снизилась сложность настройки и конфигурирования кластера под смесь нагрузок, повысилась надежность параллельного использования Trino множеством пользователей. Мы разберемся с тем, как (просто) настраивается режим Fault Tolerant Execution, увидим и разберем разницу в процессе выполнения одних и тех же запросов в обоих режимах.
Во время митапа участники смогут самостоятельно поработать с Trino, подготовленная в юпитер ноутбуках среда сделает процесс работы с Trino максимально удобным.
Участники получат раздаточные материалы, а также набор упражнений с целью закрепления полученных навыков.
Аудитория: аналитики, архитекторы платформ данных, инженеры данных, разработчики и просто интересующиеся современными технологиями обработки данных.
Уровень подготовки:
- специальной подготовки не требуется, все будет происходить в интерактивной среде подготовленной нашей школой в Yandex Cloud
Продолжительность meetup: 2 академических часа, дистанционно. Trino кластер будет доступен участникам митапа 2 часа после окончания meetup.
Программа meetup (кратко)
- Краткий обзор
- История и архитектура (кратко)
- Обзор рабочего кластера (trino) и рабочего места
- Процесс исполнения
- Принципы исполнения запросов в trino
- Fault Tolerant Execution – как настраивать и что изменилось
- Подход к анализу процесса исполнения и нагрузочному тестированию
- Сравнение на реальных запросах
- Работа в «обычном» режиме
- Работа в режиме Fault Tolerant Execution
- Заключение и выводы