Рассрочка
Spark Developer
Углубленный курс по самым мощным инструментам обработки больших данных.
26 июня
4 месяца
Онлайн
Вт/Чт 20:00 Мск
Для кого этот курс?
- Для Data-инженеров, желающих глубже изучить Spark, которые хотят научиться применять Spark на практике и закрепить с помощью интересных и сложных домашних заданий и выпускного проекта
- Также курс будет полезен специалистам DataOps и Data Science. Первые познакомятся с промышленным использованием Spark, а вторые с применением Spark в машинном обучении.
Необходимые знания
- Базовое знание Scala и Java
- Знание SQL
Подходит ли эта программа именно вам?
Что даст вам этот курс?
Научитесь интегрировать Spark с различными источниками данных: SparkML, работу с графами, Spark в Hadoop, Spark в Kubernetes, Hive.
И изучите разработку собственных коннекторов и потоковую обработку данных: Scala, Spark API (RDD, DataFrame, Dataset), Apache Arrow и Pandas API, форматы данных.
После прохождения курса вы сможете:
- Разрабатывать приложения Spark
- Разрабатывать модели ML на Spark и выводить их в Production
- Запускать Spark в Hadoop и Kubernetes
- Писать тесты для Spark-приложений
- Использовать Spark для обработки табличных, потоковых, гео-данных и графов
- Настраивать мониторинг Spark-приложений
- Обнаружение сближения судов на основе данных АИС (Автоматическая идентификационная система);
- Построение архитектуры аналитики на Azure Databricks;
- Анализ временных рядов на криптовалютной бирже;
- Создание витрины по анализу воронки продаж на маркетплейсе;
- Матчинг клиентских профилей банка с профилями клиентов экосистемы для дальнейшей маркетинговой коммуникации.
Авторская программа
Что нового в запуске Spark-2024-10? Обновили лекции и практику о функциях API Pandas.
Процесс обучения
Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время.
В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.
После выполнения всех домашних заданий вы получите готовый выпускной проект.
Портфолио
Индивидуальная разработка проектной работы.Оптимальная нагрузка
Возможность совмещать учебу с работой.Перспективы
Получите знания, которые помогут повысить вашу востребованность и доход.Партнеры
- Получите помощь с оформлением резюме, портфолио и сопроводительного письма
- Получите рекомендации, как искать работу, и советы по прохождению собеседования
Data Engineer
Работодатели курса
Формат обучения
Интерактивные вебинары
2 занятия по 2 ак.часа в неделю.
Доступ к записям и материалам остается навсегда.
Обратная связь
Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии.
Активное комьюнити
Общайтесь с преподавателями голосом на вебинарах и в закрытой Telegram группе.
Программа
Введение
Вводный модуль, в котором мы познакомимся со Spark, рассмотрим архитектуру Spark-приложений и научимся писать код на Scala.
Тема 1: Что такое Spark
Тема 2: Первые шаги в Scala
Тема 3: Дальнейшие шаги в Scala
Тема 4: Практика работы со Scala
Большие данные
В этом модуле мы познакомимся с Большими Данными. Изучим Hadoop, рассмотрим, как запускать в Hadoop приложения Spark, изучим Hive и узнаем особенности HiveQL, узнаем, как запускать Spark в Kubernetes.
Тема 1: Hadoop, HDFS
Тема 2: Обзор Hive
Тема 3: HiveQL
Тема 4: Spark в Hadoop, YARN
Тема 5: Spark в Kubernetes
API
В этом модуле изучим Spark API: RDD, DataFrame, Dataset и Spark SQL, узнаем, как использовать Arrow и Pandas API, сможем выбирать правильный API для реализации своей задачи и узнаем, как разрабатывать UDF и UDAF.
Тема 1: RDD
Тема 2: DataFrame
Тема 3: Dataset, SparkSQL
Тема 4: UDF и UDAF
Тема 5: Apache Arrow в PySpark
Тема 6: Pandas API
Источники данных
В этом модуле изучим взаимодействие Spark с различными источниками данных: файлы в различных форматах, подключение к различным СУБД, как разработать свой коннектор и как обрабатывать потоковые данные.
Тема 1: Файлы и их форматы
Тема 2: Базы данных, Hive
Тема 3: Собственный источник данных
Тема 4: Kafka
Тема 5: Structured Streaming
Дополнительные возможности
Этот модуль посвящён дополнительным возможностям Spark, которые иногда напрасно игнорируются. Узнаем, как разрабатывать модели ML на Spark, как работать с графами и как тестировать приложения Spark.
Тема 1: Spark ML
Тема 2: Работа с графами
Тема 3: Тестирование приложений Spark
Тема 4: Консультация по домашним заданиям
Промышленное использование
Этот модуль посвящён промышленному использованию Spark: как запускать задания Spark по расписанию, как осуществлять мониторинг приложений Spark и как оптимизировать приложения Spark.
Тема 1: Оркестрация процессов обработки данных
Тема 2: Мониторинг Spark приложений
Тема 3: Методы оптимизации приложений Spark
Проектная работа
По результатам модуля вы у вас будет готовый проект, который позволит применить полученные в ходе курса знания на практике и в дальнейшем может быть включен в резюме при собеседовании на вакансии Data Engineer или Spark Developer.
Тема 1: Выбор темы и организация проектной работы
Тема 2: Консультация по проектам и домашним заданиям
Тема 3: Защита проектных работ
Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит
Выпускной проект
Курс завершается финальным проектом, который предстоит защитить перед преподавателями и командой. Вам будет, что обсудить на собеседовании! Вы можете выбрать одну из предложенных преподавателем тем или реализовать свою идею.
- Загрузку данных из источников
- Простой Data Lake на основе этих данных с использованием Hive
- Лямбда-архитектуру для реалтайм-аналитики на основе Spark
Преподаватели
Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания
Ближайшие мероприятия
Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.
- Агрегация данных — ключевая операция в аналитике и обработке больших данных, и стандартных функций Spark иногда недостаточно.
- Пользовательские агрегатные функции (UDAF) позволяют решать сложные задачи, которые невозможно реализовать встроенными методами.
- Понимание UDAF делает разработчика более гибким и востребованным в проектах, связанных с Big Data.
📍 Программа вебинара
- Основы агрегации в Spark: встроенные функции и их ограничения.
- Архитектура UDAF: как работает пользовательский агрегатор и из чего он состоит.
- Практический пример: пишем свой UDAF и применяем его к реальным данным.
👥 Кому будет полезен вебинар?
- Начинающим и опытным Data-инженерам, которые хотят углубить знания Spark.
- Аналитикам данных, работающим с большими объемами информации и сложными агрегациями.
- Руководителям команд, чтобы понимать возможности кастомизации Spark для своих проектов.
✅ В результате вебинара вы:
- Узнаете, как работают агрегаторы в Spark и чем UDAF отличается от стандартных функций.
- Научитесь создавать свои агрегатные функции для нестандартных расчетов.
- Сможете применять UDAF в реальных задачах, повышая эффективность обработки данных.
- Spark ML – это мощный инструмент для масштабируемого машинного обучения, позволяющий обучать модели на больших данных без перехода на специализированные ML-системы.
- Интеграция с Spark SQL и DataFrame API упрощает ETL-подготовку данных и фичуризацию, что критично для реальных ML-проектов.
- Промышленные ML-пайплайны требуют отказоустойчивости и распределённых вычислений – Spark ML даёт это из коробки.
📍 Программа вебинара
- Обзор Spark ML
- Чем отличается от scikit-learn и других ML-фреймворков?
- Основные компоненты: трансформеры, estimators, пайплайны.
- Разработка модели в Spark ML
- Подготовка данных, обучение и валидация модели (на примере классификации/регрессии).
- Как работать с разреженными данными и категориальными фичами.
- Промышленное использование
👥 Кому будет полезен вебинар?
- Data Scientists – кто хочет масштабировать свои модели без переписывания кода под распределённые системы.
- ML-инженерам – для внедрения end-to-end пайплайнов в продакшен-среде.
- Инженерам данных – которые участвуют в подготовке данных для ML и развёртывании моделей.
✅ В результате вебинара вы:
- Поймёте плюсы и ограничения Spark ML vs традиционные ML-библиотеки.
- Научитесь строить и тестировать ML-модели на реальных датасетах в Spark.
- Узнаете, как развернуть модель в промышленной среде и интегрировать её в данные процессы.
- Spark Connect – это новая архитектура в Spark 3.4.0, которая позволяет удалённо подключаться к кластеру Spark через унифицированный клиент-серверный протокол.
- Решает проблему изоляции клиентских приложений – теперь драйвер может работать вне кластера, что упрощает разработку и отладку.
- Открывает возможности для более гибкой интеграции с IDE, ноутбуками (Jupyter, Zeppelin) и сторонними языками программирования.
📍 Программа вебинара
- Что такое Spark Connect?
- Обзор новой архитектуры, отличия от классического Spark.
- Какие проблемы решает (управление сессиями, отказоустойчивость, удобство разработки).
- Как использовать Spark Connect?
- Настройка сервера и подключение клиентов (Python, Java, Scala).
- Примеры запуска запросов через REST-интерфейс.
- Практические кейсы и ограничения
👥 Кому будет полезен вебинар?
- Data Engineers – для упрощения разработки и управления Spark-приложениями.
- Аналитикам данных – кто хочет удобно работать с Spark из Jupyter Notebook без сложных конфигураций.
- Разработчикам Spark-экосистемы – для понимания новых возможностей интеграции.
✅ В результате вебинара вы:
- Узнаете, как Spark Connect меняет подход к взаимодействию со Spark.
- Научитесь настраивать и подключаться к Spark через клиент-серверный режим.
- Поймёте, в каких сценариях его использование даст максимальную выгоду.
Прошедшие
мероприятия
Корпоративное обучение для ваших сотрудников
- Курсы OTUS верифицированы крупными игроками ИТ-рынка и предлагают инструменты и практики, актуальные на данный момент
- Студенты работают в группах, могут получить консультации не только преподавателей, но и профессионального сообщества
- OTUS проверяет знания студентов перед стартом обучения и после его завершения
- Простой и удобный личный кабинет компании, в котором можно видеть статистику по обучению сотрудников
- Сертификат нашего выпускника за 5 лет стал гарантом качества знаний в обществе
- OTUS создал в IT более 120 курсов по 7 направлениям, линейка которых расширяется по 40-50 курсов в год
Отзывы
Подтверждение знаний и навыков
OTUS осуществляет лицензированную образовательную деятельность. В конце прохождения курса вы получите сертификат OTUS.
После обучения вы:
- заберете с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям и другие дополнительные материалы
- получите сертификат о прохождении курса
- пополните свое портфолио новыми работами для будущего работодателя
- получите все необходимые навыки для работы с Spark.
Spark Developer
Полная стоимость
Стоимость указана для оплаты физическими лицами
вычета до 13% стоимости обучения. Пройдите тестирование и менеджер вас проконсультирует
+7 499 938-92-02 бесплатно