Эксплуатация Arenadata Streaming (Kafka)

08-11 декабря

Курс «Эксплуатация Arenadata Streaming (Kafka)» поможет получить практические навыки по развертыванию, администрированию и пост-настройке безопасности кластера Arenadata Streaming

Записаться на курс Программа курса Задать вопрос

Преимущества курса

Только применимые на практике знания

В его рамках участники получат теоретические знания и практический опыт по:

  • подготовке окружения и установке Arenadata Streaming, Arenadata Streaming Control и Arenadata Platform Security;
  • архитектуре и инструментам Apache Kafka (Consumers, Producers, Topics, Kafka Cruise Control, Kafka Connect, MirrorMaker, Kafka REST Proxy, ksqlDB);
  • Arenadata Streaming Control (ADS Control);
  • обеспечению информационной безопасности для кластера Arenadata Streaming с применением инструментов Arenadata Platform Security.

Что представляет собой курс

Курс «Эксплуатация Arenadata Streaming (Kafka)» − четырёхдневный практический курс по администрированию, установке и настройке безопасности кластера Kafka, который направлен на изучение ключевых аспектов работы с платформой Arenadata Streaming, включая принципы обеспечения безопасности потоковых данных.

Аудитория курса

Аудитория курса включает в себя IT-специалистов, которые хотят повысить свою квалификацию в области управления потоковыми данными и обеспечения безопасности кластера Apache Kafka в составе платформы Arenadata Streaming. Курс предназначен для системных администраторов, специалистов по информационной безопасности и разработчиков в области больших данных. Курс будет полезен как для начинающих, так и для опытных специалистов, стремящихся расширить свои знания и умения в области администрирования и обслуживания распределенной системы потоковой обработки данных − Arenadata Streaming.

Слушателям необходимо обладать следующим уровнем подготовки:

  • знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
  • опыт работы с SQL.

Сертификация

  • Слушателям, успешно прошедшим сертификацию, выдается именной вендорский сертификат.
  • Слушателям курса предоставляется 2 попытки для прохождения проверки знаний.
сертификат

Программа обучения

Модуль 1

Обзор Arenadata Enterprise Data Platform и Arenadata Streaming

  • Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager
  • Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper)
  • Arenadata Streaming Control
  • Arenadata Platform Security
Модуль 2

Подготовка окружения и установка ADS: ZooKeeper/KRaft, Apache Kafka, Monitoring, ADS Control

  • Планирование кластера
  • Настройка параметров окружения:
    1. Подготовка к установке. Настройка сети и DNS. Монтирование и настройка файловой системы
    2. Лабораторная работа
  • Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание:
    1. Лабораторная работа (опционально)
  • Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper/KRaft, Apache Kafka):
    1. Лабораторная работа (опционально)
  • Мониторинг ADS Prometheus/Graphite (Deprecated): архитектура сервиса/кластера мониторинга. Настройка/добавление JMX-метрик:
    1. Лабораторная работа (опционально)
  • Arenadata Streaming Control (ADS Control): планирование кластера, настройка параметров окружения и установка, обзор UI
Модуль 3

Архитектура и инструменты Apache Kafka

  • Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas
  • Topics Kafka:
    1. Основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compaction, retension)
    2. Гарантии надежности Kafka (доставка/потребление)
    3. ADS Control: базовые операции (View/Produce Messages, Topics, Brokers, Consumer groups)
    4. Лабораторная работа
  • Контроллер Kafka. ZooKeeper/KRaft
  • Producers Kafka:
    1. Настройка Producers
    2. Console Producer
  • Consumers Kafka:
    1. Настройка Consumers
    2. Сonsumer groups, ребалансировка разделов
    3. Console Consumer
  • Изменение параметров компонентов и объектов Kafka:
    1. ADS Control
    2. Console CLI
    3. Лабораторная работа
  • Kafka Cruise Control:
    1. Назначение, архитектура и компоненты (Goals, Monitor, Analyzer, Detector, Metrics)
    2. Лабораторная работа (опционально)
  • Schema Registry:
    1. Schema compatibility
    2. Настройка и управление в ADS Control
  • Kafka Tiered Storage:
    1. Основные возможности. Настройка
Модуль 4

Kafka Connect

  • Основные понятия, компоненты и инструменты. API. Установка Plugin's Connectors
  • FileStream Connectors:
    1. Лабораторная работа
  • Мультикластерные архитектуры (MirrorMaker, Mirror Connectors)
  • ADS Control: управление и добавление коннекторов (MirrorCheckpointConnector, MirrorHeartbeatConnector, MirrorSourceConnector, пользовательских, Debezium):
    1. Mirror Maker connector
    2. CDC Debezium
    3. Kafka ADB Connectors
    4. Лабораторные работы
Модуль 5

Kafka REST Proxy, ksqlDB

  • Основные возможности и примеры использования
Модуль 6

Управление информационной безопасностью кластера ADS

  • Механизмы аутентификации/авторизации в Kafka. Шифрование. kTLS
  • Установка и настройка Arenadata Platform Security (ADPS):
    1. Основные этапы установки. Подготовка инфраструктуры. Распределение компонент ADPS
    2. Лабораторная работа
  • Керберизация ADS/ADPS/ADS Control с MS Active Directory:
    1. Лабораторная работа
  • Настройка LDAP sync source для Ranger User synchronizer:
    1. Лабораторная работа
  • Настройка LDAP/AD auth для Ranger Admin:
    1. Лабораторная работа
  • Настройка LDAP/AD auth для ADS Control:
    1. Лабораторная работа
  • Настройка network authentication/domain membership для узлов на примере Active Directory (SSSD/realmd):
    1. Лабораторная работа
  • Настройка SSL ADS/ADPS/ADS Control:
    1. Сертификаты и Центры сертификации
    2. Шифрование данных. Основные этапы настройки SSL
    3. Лабораторная работа
  • Настройка авторизации:
    1. Apache Kafka (ACL, Ranger Plugin)
    2. ADS Control Service (Ranger Plugin)
    3. Лабораторная работа

«Эксплуатация Arenadata Streaming (Kafka)»

Ближайший старт:

8-11 Декабря

Длительность:

4 дня , 32 ак.ч.

Записаться на курс

Спасибо, что написали нам!

Мы обработаем заявку и свяжемся с вами в ближайшее время.

Будем рады помочь!

Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.

Корпоративная группа *
Фамилия *
Имя *
Должность/Роль в компании *
Эл. почта *
Телефон *
Наименование компании *
Опишите ваш вопрос
ошибка! проверьте правильно ли вы заполнили поля

Остались вопросы?

Если вы не нашли ответа на свой вопрос, вы можете воспользоваться формой обратной связи

хочу спросить

Как проходит обучение

Обучение проходит дистанционно в формате вебинаров. Теория перемежается с лабораторными работами, стенд разворачивается для каждого участника, с преподавателями можно общаться на протяжении всего обучения как голосом, так и в чате.

Занятия проводятся с отрывом от производства.

Время проведения занятий с 10:00 до 18:00 мск, если курс рассчитан на целый день.

Корпоративное обучение

Если ваша компания планирует внедрять решения Arenadata или уже работает с ними, вы можете воспользоваться возможностями корпоративного обучения и записать на интересующий курс команду от десяти человек.

Открытые группы

Периодически обучение проходит в смешанных открытых группах. Если вы планируете обучить менее 10 сотрудников, то смело записывайтесь в одну из них. Ориентироваться можно на расписание ниже.

Оставьте заявку на обучение и мы расскажем вам подробнее о том, как набирается группа и сколько свободных мест осталось.

Что получает слушатель по окончанию занятий

После успешной сдачи итогового тестирования, участникам выдается именной вендорский сертификат.

Хотите записаться на курс?

Да, хочу!

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.