Курс «Эксплуатация Arenadata Streaming (NiFi)»

Курс «Эксплуатация Arenadata Streaming (NiFi)» будет полезен дата-инженерам, управляющим ETL-конвейерами на базе инструмента Apache NiFi. Прохождение курса поможет вам получить практические навыки по развертыванию, администрированию и настройке безопасности Apache NiFi в составе кластера Arenadata Streaming.

Только применимые на практике знания

В его рамках участники получат теоретические знания и практический опыт по:

подготовке окружения и установке Arenadata Streaming, Arenadata Platform Security;
архитектуре, администрированию и эксплуатации Apache NiFi;
созданию и обслуживанию ETL-конвейеров;
обеспечению информационной безопасности для кластера Arenadata Streaming (NiFi) с применением инструментов Arenadata Platform Security.

программа курса

Что представляет собой курс

Аудитория курса

Что представляет собой курс

Курс «Эксплуатация Arenadata Streaming (NiFi)» − трёхдневный практический курс по администрированию, установке и настройке безопасности кластера Apache NiFi, который направлен на изучение ключевых аспектов работы с платформой Arenadata Streaming, включая принципы обеспечения безопасности ETL-конвейеров.

Аудитория курса

Аудитория курса включает в себя IT-специалистов, которые хотят повысить свою квалификацию в области управления ETL-процессами потоковыми данными и обеспечения безопасности кластеров Apache NiFi в составе платформы Arenadata Streaming. Курс предназначен для дата-инженеров, системных администраторов, специалистов по информационной безопасности. Он будет полезен как начинающим, так и опытным специалистам, стремящимся расширить свои знания и умения в области администрирования и обслуживания распределенной системы потоковой обработки данных – Apache NiFi в составе Arenadata Streaming.

Слушателям необходимо обладать следующим уровнем подготовки:

знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);

опыт работы с SQL.

Программа

Модуль 1. Обзор Arenadata Enterprise Data Platform и Arenadata Streaming

Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager
Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka-Manager, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper, KRaft)
Arenadata Streaming Control
Arenadata Platform Security

Модуль 2. Подготовка окружения и установка ADS: ZooKeeper, Apache NiFi

Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.
Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache NiFi).
Мониторинг ADS Prometheus/Graphite (Deprecated): архитектура сервиса/кластера мониторинга.

Модуль 3. Архитектура и инструменты Apache NiFi

Обзор Apache NiFi: Графический интерфейс пользователя. Управление потоковой обработкой данных. Процессоры и их назначение
Создание, настройка и управление процессорами, процессорными группами.
Flow Files и атрибуты.
Подключение источников (File, Apache Kafka, СУБД)
FlowFile Repository, Content Repository, Provenance Repository: детальное изучение

Модуль 4. Администрирование и эксплуатация Apache NiFi

Инструменты мониторинга и администрирования: (Reporting Tasks, Site-to-Site, REST API, nifi-toolkit).
Горизонтальное масштабирование и отказоустойчивость NiFi. Балансировка очередей.
Управление репликацией и Метадата-driven подход.
Apache NiFi Registry версионность и поддержка production deployment (CI/CD).

Модуль 5. Работа с данными и маршрутизация в Apache NiFi

Использование процессоров для обработки данных.
Шаблоны маршрутизации.
Основы Expression Language.

Модуль 6. Управление информационной безопасностью кластера ADS (NiFi)

Установка и настройка Arenadata Platform Security (ADPS): основные этапы установки, подготовка инфраструктуры, распределение компонент ADPS.
Керберизация ADS/ADPS с MS Active Directory.
Настройка LDAP sync source для Ranger User synchronizer.
Настройка LDAP/AD auth для Ranger Admin.
Настройка SSL ADS/ADPS: Сертификаты и Центры сертификации. Шифрование данных. Основные этапы настройки SSL.
Настройка авторизации: Apache NiFi (based authorizer, Apache Ranger Plugin). Настройка политик (processor groups, processors, queues и др.). Парметры безопасности процессоров.

Итоговое тестирование

Эксплуатация Arenadata Streaming (NiFi)