Beeline Meetup: Data Engineering Tools состоится 20 декабря 2022 года в 17:00 (мск).

1. Как настроить ETL с JSON’ами в Apache NiFi — Сергей Евсеев, middle дата-инженер, Билайн

Сергей расскажет, как в Apache NiFi настроить пайплайн трансформации и сохранения JSON в хранилище данных и как с помощью Jolt и Avro уменьшить время и трудозатраты на его построение.

2. Система сквозного логирования с передачей единого идентификатора процесса между независимыми задачами Airflow — Никита Хилов, руководитель по разработке, Билайн

Организовать систему пользовательских логов для периодических процессов несложно. Сложнее, когда ключ прекращает быть однозначным идентификатором процесса расчета. Никита расскажет, почему так бывает и как в команде создавали сквозные пользовательские логи в продукте.

3.Apache Flink: Flink Table API & SQL —  Александр Булатов, старший дата-инженерБилайн

Александр расскажет, что такое Table API в Apache Flink, как выглядит создание Source и Sink для Table API & SQL и как Table API взаимодействует с DataStream API.

После каждого доклада вы сможете подискутировать с другими участниками и задать вопросы спикерам. Авторы лучших вопросов получат в подарок мерч от билайна — классные поясные сумки