Онлайн-митап "Работа с источниками данных в Apache Spark" состоится 14 июня 2022 года в 17:00 (мск).

Apache Spark – это Big Data фреймворк с открытым исходным кодом для распределённой пакетной и потоковой обработки неструктурированных и слабоструктурированных данных, входящий в экосистему проектов Hadoop. Проводит митап "Школа больших данных".

Митап рассчитан на инженеров данных, разработчиков и просто интересующихся: научимся загружать данные в Spark из файлов и реляционных СУБД, а также выгружить данные, включая управление сжатием, вопросы  выбора формата файла и т.п. Во время митапа будет немного теории и много практики — будем вместе в облаке учиться работать с источниками данных в Spark. На выходе вы будете уметь читать файлы с помощью Apache Spark, извлекать и записывать данные в реляционные СУБД, материалы митапа — Jupyter ноутбуки — позволят вам продолжить изучение нюансов ввода и вывода в Spark самостоятельно. Для эффективного участия в митапе необходимо предварительное знакомство со Spark (хотя бы в объеме нашего предыдущих митапов).

Программа митапа

Теория: краткое знакомство с возможностями ввода-вывода в Apache Spark
Немного теории – как устроен ввод-вывод 

Практика: Читаем и пишем данные с Apache Spark
Файлы, форматы файлов, JDBC источники

МЕРОПРИЯТИЕ БУДЕТ ПРОВОДИТЬСЯ НА ПЛАТФОРМЕ ZOOM. Ссылка на зум придет за час до начала мероприятия.