Добавить в календарь 21.05.2025 17:00 21.05.2025 19:00 Europe/Moscow Retry Policy TASK в Trino – не только и не столько надежность

Онлайн-митап "Retry Policy TASK в Trino – не только и не столько надежность" состоится 21 мая 2025 года в 17:00 (мск).

Trino – это распределенный SQL движок, разработанный для работы с большими датасетами, распределенными между одним или несколькими неоднородными источниками данных.

Retry Policy TASK в Trino — это одна из двух политик отказоустойчивого выполнения запросов, которая определяет, как система будет автоматически повторять выполнение отдельных задач (tasks) внутри SQL-запроса при возникновении сбоев на уровне кластера.

На meetup на развернутом в яндекс-облаке кластере разберутся с тем, как «поведение» Trino изменяется при переключении его в режим так называемого Fault Tolerant Execution. 

Trino был разработан для интерактивной работы, не для batch задач, больших и сложных ETL процессов. В качестве способа обеспечения процесса распределенных вычислений данными использовалась передача «недостающих» данных по сети. В 2022 году в результате успешного завершения проекта Tardigrade Trino получил возможность «из коробки» обеспечивать выполнение долгоживущих запросов, при этом снизилась сложность настройки и конфигурирования кластера под смесь нагрузок, повысилась надежность параллельного использования Trino множеством пользователей. Мы разберемся с тем, как (просто) настраивается режим Fault Tolerant Execution, увидим и разберем разницу в процессе выполнения одних и тех же запросов в обоих режимах. 

Во время митапа участники смогут самостоятельно поработать с Trino, подготовленная в юпитер ноутбуках среда сделает процесс работы с Trino максимально удобным.

Участники получат раздаточные материалы, а также набор упражнений с целью закрепления полученных навыков.

Аудитория: аналитики, архитекторы платформ данных, инженеры данных, разработчики и просто интересующиеся современными технологиями обработки данных.

Уровень подготовки: 

  • специальной подготовки не требуется, все будет происходить в интерактивной среде подготовленной нашей школой в Yandex Cloud

Продолжительность meetup: 2 академических часа, дистанционно. Trino кластер будет доступен участникам митапа 2 часа после окончания meetup.

 Программа meetup (кратко)

  1. Краткий обзор
    1. История и архитектура (кратко)
    2. Обзор рабочего кластера (trino) и рабочего места 
  2. Процесс исполнения
    1. Принципы исполнения запросов в trino
    2. Fault Tolerant Execution – как настраивать и что изменилось
    3. Подход к анализу процесса исполнения и нагрузочному тестированию
  3. Сравнение на реальных запросах
    1. Работа в «обычном» режиме
    2. Работа в режиме Fault Tolerant Execution
  4. Заключение и выводы                    
Онлайн,

Retry Policy TASK в Trino – не только и не столько надежность

Trino-logo-w-bk.svg.png

Дата проведения: 21.05.2025. Начало в 17:00

Место проведения: Онлайн

Организатор: Школа больших данных
Будь в курсе всех мероприятий по теме Big Data
  • Анонс
  • Программа
  • Участники
  • Спикеры

Онлайн-митап "Retry Policy TASK в Trino – не только и не столько надежность" состоится 21 мая 2025 года в 17:00 (мск).

Trino – это распределенный SQL движок, разработанный для работы с большими датасетами, распределенными между одним или несколькими неоднородными источниками данных.

Retry Policy TASK в Trino — это одна из двух политик отказоустойчивого выполнения запросов, которая определяет, как система будет автоматически повторять выполнение отдельных задач (tasks) внутри SQL-запроса при возникновении сбоев на уровне кластера.

На meetup на развернутом в яндекс-облаке кластере разберутся с тем, как «поведение» Trino изменяется при переключении его в режим так называемого Fault Tolerant Execution. 

Trino был разработан для интерактивной работы, не для batch задач, больших и сложных ETL процессов. В качестве способа обеспечения процесса распределенных вычислений данными использовалась передача «недостающих» данных по сети. В 2022 году в результате успешного завершения проекта Tardigrade Trino получил возможность «из коробки» обеспечивать выполнение долгоживущих запросов, при этом снизилась сложность настройки и конфигурирования кластера под смесь нагрузок, повысилась надежность параллельного использования Trino множеством пользователей. Мы разберемся с тем, как (просто) настраивается режим Fault Tolerant Execution, увидим и разберем разницу в процессе выполнения одних и тех же запросов в обоих режимах. 

Во время митапа участники смогут самостоятельно поработать с Trino, подготовленная в юпитер ноутбуках среда сделает процесс работы с Trino максимально удобным.

Участники получат раздаточные материалы, а также набор упражнений с целью закрепления полученных навыков.

Аудитория: аналитики, архитекторы платформ данных, инженеры данных, разработчики и просто интересующиеся современными технологиями обработки данных.

Уровень подготовки: 

  • специальной подготовки не требуется, все будет происходить в интерактивной среде подготовленной нашей школой в Yandex Cloud

Продолжительность meetup: 2 академических часа, дистанционно. Trino кластер будет доступен участникам митапа 2 часа после окончания meetup.

 Программа meetup (кратко)

  1. Краткий обзор
    1. История и архитектура (кратко)
    2. Обзор рабочего кластера (trino) и рабочего места 
  2. Процесс исполнения
    1. Принципы исполнения запросов в trino
    2. Fault Tolerant Execution – как настраивать и что изменилось
    3. Подход к анализу процесса исполнения и нагрузочному тестированию
  3. Сравнение на реальных запросах
    1. Работа в «обычном» режиме
    2. Работа в режиме Fault Tolerant Execution
  4. Заключение и выводы