Онлайн-митап "Использование SQL для работы с данными в Apache Spark" состоится 29 июня 2022 года в 17:00 (мск).

Apache Spark – это Big Data фреймворк с открытым исходным кодом для распределённой пакетной и потоковой обработки неструктурированных и слабоструктурированных данных, входящий в экосистему проектов Hadoop. Митап проводит специализированный учебный центр по технологиям Big data — Школа Больших данных.

Митап рассчитан на инженеров данных, разработчиков и просто интересующихся: научимся использовать SQL для работы с данными в Spark, поймем разницу в использовании DataframeAPI и SQL, разберем работу с метаданными и MetaStore, включая локальный вариант исполнения. Во время митапа будет немного теории и много практики — будем вместе в облаке учиться работать в Spark с помощью SQL. На выходе вы будете понимать, когда лучше использовать SQL и какие именно возможности он предлагает, в чем отличия SQL от DataframeAPI и как можно переходить с одного способа работы на другой. Материалы митапа — Jupyterноутбуки — позволят вам продолжить изучение нюансов использования SQL в Sparkсамостоятельно. Для эффективного участия в митапе необходимо предварительное знакомство со Spark (хотя бы в объеме нашего предыдущих митапов).

Длительность: 2 ак. часа

Программа митапа

Теория: краткое знакомство с возможностями Spark SQL

Немного теории – место Spark SQL в Apache Spark 

Практика: Работаем в Apache Spark с данными с помощью SQL

SQL, датафреймы, интероперабельность, метаданные

МЕРОПРИЯТИЕ БУДЕТ ПРОВОДИТЬСЯ НА ПЛАТФОРМЕ ZOOM. Ссылка на мероприятие будет отправлена за 1 час до начала события.