RamblerMeetup&Usermodel

Спикеры и темы докладов:

1. Павел Ашихмин, инженер-разработчик Python, Rambler&Co
«Spark Structured Streaming и распределенный джойн в реальном времени»

Spark Structured Streaming – фреймворк для распределенной обработки данных в режиме, близком к реальному времени. Его внушительный функционал позволяет строить сложные realtime-pipeline поставки данных для аналитики и машинного обучения.

Павел расскажет про свой опыт построения realtime-контура обработки данных с использованием Spark Structured Streaming. Обсудим, с какими подводными камнями можно столкнуться, если использовать его вместе с Kafka и Clickhouse и как увеличить свои шансы на надежную шину для передачи данных в реальном времени.

2. Роман Ананьев, NoSQL Engineer, Avito
«Kafka в Multi DC реалиях»

Есть много способов сделать Apache Kafka работающей в нескольких DC – от создания единого широкого кластера до разных версий репликаций между разрозненными инсталляциями. Также возможно совмещать все вместе.

Рассмотрим на реализованных проектах, какой из вариантов в каком случае подходит, и каким образом их можно воплотить.

Погрузимся в работу таких репликаторов, как Mirror Maker 2 и Uber Replicator.

Поговорим о концепте Kafka Federation, который объединяет в себе разные варианты Kafka в Multi DC.

3. Александр Ошурков, руководитель центра компетенций ML, МКБ
«Как стартовать ML-практику в финтехе»

Поговорим о том, как начать использовать инструменты машинного обучения в финтехе. Александр расскажет, какие подводные камни могут скрываться на старте работы подразделения, как найти руки и мозги для выполнения проектов и обеспечить информационную безопасность.

Он опишет инструменты разработчиков и менеджеров, а также трудности, с которыми можно столкнуться при поиске необходимых данных и требований к базам.