Основы работы с Apache NiFi на базе платформы Arenadata Streaming

Курс «Основы работы с Apache NiFi на базе платформы Arenadata Streaming» будет полезен дата-инженерам, управляющим ETL-конвейерами на базе инструмента Apache NiFi. Прохождение курса поможет получить практические навыки по созданию и управлению потоками Apache NiFi в составе кластера Arenadata Streaming.

Записаться на курс Программа курса Задать вопрос

Преимущества курса

Трёхдневный практический курс

Поможет получить практические навыки по созданию и управлению потоками Apache NiFi в составе кластера Arenadata Streaming

Что представляет собой курс

«Основы работы с Apache NiFi на базе платформы Arenadata Streaming» − трёхдневный практический курс по разработке и кастомизации инструментов ETL-обработки средствами Apache NiFi, направленный на изучение ключевых аспектов разработки ETL-конвейеров.

Аудитория курса

Аудитория курса включает IT-специалистов, которые хотят повысить квалификацию в области разработки ETL-процессов Apache NiFi в составе платформы Arenadata Streaming. Курс предназначен для дата-инженеров и будет полезен как начинающим, так и опытным специалистам, стремящимся расширить свои знания и навыки.

Слушателям необходимо обладать следующим уровнем подготовки:

  • знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
  • опыт работы с SQL.

Сертификация

  • Слушателям, успешно прошедшим сертификацию, выдается именной вендорский сертификат.
  • Слушателям курса предоставляется 2 попытки для прохождения проверки знаний.
сертификат

Программа обучения

Модуль 1

Обзор Arenadata Enterprise Data Platform и Arenadata Streaming

  • Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Prosperity, Arenadata Cluster Manager.
  • Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper).
  • Arenadata Streaming Control.
  • Arenadata Platform Security.
Модуль 2

Подготовка окружения и установка ADS: ZooKeeper, Apache NiFi

  • Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
  • Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.
  • Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
  • Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache NiFi).
  • Мониторинг ADS (Prometheus): архитектура сервиса.
Модуль 3

Архитектура и инструменты Apache NiFi

  • Обзор Apache NiFi: Графический интерфейс пользователя. Управление потоковой обработкой данных. Процессоры и их назначение.
  • Создание, настройка и управление процессорами, процессорными группами.
  • Flow Files и атрибуты.
  • FlowFile Repository, Content Repository, Provenance Repository: детальное изучение.
  • Content/Record-oriented подход.
Модуль 4

Администрирование и эксплуатация Apache NiFi

  • Инструменты мониторинга и администрирования.
  • Горизонтальное масштабирование и отказоустойчивость NiFi. Балансировка очередей. Производительность и оптимизация потоков данных.
  • Использование метадата-driven подхода для разработки потоков.
  • Apache NiFi Registry версионность и поддержка production deployment (CI/CD).
Модуль 5

Работа с данными и маршрутизация в Apache NiFi

  • Использование процессоров для обработки данных.
  • Работа с метаданными и контентом flowfiles.
  • Основы Expression Language.
  • Параметризация DataFlow: параметры, провайдеры.
  • Сериализация и десериализация данных. Схемы данных. AVRO-схемы.
  • Подключение источников (File, Apache Kafka, СУБД, S3, HDFS, возможные Endpoints).
  • Работа с текстом, JSON, XML (jolt, jslt, xslt).
  • Трансформация и фильтрация данных (ConvertRecord, UpdateRecord, QueryRecord, jolt-transform-record, LookupRecord).
  • Разделение, объединение и агрегация данных.
  • Использование процессоров для маршрутизации.
  • Обработка ошибок.
  • Работа с ADB, трансформация и загрузка (ETL).
Модуль 6

Кастомизация Apache NiFi

  • Кастомизация и создание Extensions. Создание собственного процессора (преимущества/недостатки).
  • Использование скриптов.
  • Разработка скрипта трансформации (Scripted-transform-record).

Итоговое тестирование

«Основы работы с Apache NiFi на базе платформы Arenadata Streaming»

Ближайший старт:

14-16 Января

Длительность:

3 дня

Записаться на курс

Спасибо, что написали нам!

Мы обработаем заявку и свяжемся с вами в ближайшее время.

Будем рады помочь!

Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.

Корпоративная группа *
Фамилия *
Имя *
Должность/Роль в компании *
Эл. почта *
Телефон *
Наименование компании *
Опишите ваш вопрос
ошибка! проверьте правильно ли вы заполнили поля

Остались вопросы?

Если вы не нашли ответа на свой вопрос, вы можете воспользоваться формой обратной связи

хочу спросить

Как проходит обучение

Обучение проходит дистанционно в формате вебинаров. Теория перемежается с лабораторными работами, стенд разворачивается для каждого участника, с преподавателями можно общаться на протяжении всего обучения как голосом, так и в чате.

Занятия проводятся с отрывом от производства.

Время проведения занятий с 10:00 до 18:00 мск, если курс рассчитан на целый день.

Корпоративное обучение

Если ваша компания планирует внедрять решения Arenadata или уже работает с ними, вы можете воспользоваться возможностями корпоративного обучения и записать на интересующий курс команду от десяти человек.

Открытые группы

Периодически обучение проходит в смешанных открытых группах. Если вы планируете обучить менее 10 сотрудников, то смело записывайтесь в одну из них. Ориентироваться можно на расписание ниже.

Оставьте заявку на обучение и мы расскажем вам подробнее о том, как набирается группа и сколько свободных мест осталось.

Что получает слушатель по окончанию занятий

После успешной сдачи итогового тестирования, участникам выдается именной вендорский сертификат.

Хотите записаться на курс?

Да, хочу!

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.