Обзор Spark API

Открытый урок курса Spark Developer

Spark предлагает несколько API. На данном открытом открытом уроке мы рассмотрим, чем они отличаются и когда какой стоит использовать.

Рассмотрим такие Spark API:

RDD
DataFrame
Dataset - Spark SQL
Pandas API

На вебинаре:

Этот вебинар будет полезен:

инженерам данных, разработчикам больших данных и Data Scientist'ам.

Особенности различных Spark API
Как сделать выбор API для использования в Spark

В результате вебинара узнаете:

Спикер

Более 35 лет в ИТ, с 2016 года работает с большими данными как разработчик, Data Engineer и Data Scientist. Team Lead команд инженеров данных на разных проектах.

Развивал проекты в банках, в телекоммуникационных и розничных компаниях.

Разработал архитектуру миграции системы Teradata RTCM на Teradata VCX для телекоммуникационной компании. Разработал архитектура системы обработки данных на базе Hadoop для совместного проекта международной платежной системы и крупного банка. Разработал систему безопасности Hadoop на основе Atlas и Ranger.

Тестировал системы безопасности Protegrity в Hadoop для крупного банка.

Практический опыт базируется на знании Hadoop (Cloudera, Hortonworks), MPP-системами (Teradata, Greenplum, Vertica), фреймворка Spark и платформ Google Cloud Platform и Yandex Cloud.

Автор курса Data Engineer, Apache Kafka, Spark Developer в компании Otus.

Вадим Заигрин

Этот вебинар — лишь небольшая часть большого образовательного курса Spark Developer , который создан для глубокого понимания инструментов и возможностей Spark, оркестрацию, тестирование и мониторинг приложений. В рамках курса вы не только получите теоретические знания, но и сможете применять их на практике под руководством опытных преподавателей.

Программа курса включает в себя изучение больших данных, API и источники данных, которые помогут вам уверенно интегрировать Spark с различными источниками данных: SparkML, работу с графами, Spark в Hadoop, Spark в Kubernetes, Hive. и изучить разработку собственных коннекторов и потоковую обработку данных: Scala, Spark API (RDD, DataFrame, Dataset), Apache Arrow и Pandas API, форматы данных.

Узнайте больше о курсе и присоединяйтесь к нашим участникам, чтобы получить полный доступ к знаниям и практическим материалам.

О курсе

Все участники вебинара получат