Основы работы с Apache Kafka на базе платформы Arenadata Streaming

записаться на курс

Курс «Основы работы с Apache Kafka на базе платформы Arenadata Streaming»

Курс «Основы работы с Apache Kafka на базе платформы Arenadata Streaming» поможет сформировать представление об архитектуре и функционировании кластера Apache Kafka. Участники изучат архитектуру и инструменты Apache Kafka, включая ключевые концепции и объекты, такие как Consumers, Producers и Topics. практической части курса слушатели познакомятся с инструментами для разработки и сборки кода на языке Java в IDE для работы с Kafka API’s, а также научатся настраивать обмен данных кластера Kafka и внешних систем с помощью Kafka Connect и создавать собственные коннекторы. Рассмотрят основные возможности потоковой обработки данных с помощью Kafka Streams.
программа курса
Что представляет собой курс
Аудитория курса
Сертификация
Что представляет собой курс
Курс «Основы работы с Apache Kafka на базе платформы Arenadata Streaming» − практический тренинг, посвящённый использованию Apache Kafka в среде Arenadata Streaming, а также разработке и запуску приложений с использованием Kafka API на Java. В его рамках участники получат теоретические знания и практический опыт:
  • архитектура Arenadata Streaming, Arenadata Streaming Control и Arenadata Platform Security.
  • архитектура и инструменты Apache Kafka (Consumers, Producers, Topics, Kafka Connect, Debezium, MirrorMaker, Schema Registry, Kafka REST Proxy, KSQL DB, Kafka Streams);
  • использование Arenadata Streaming Control (ADS Control) для управления кластерами Arenadata Streaming;
  • понимание принципов подготовки окружения, установки, настройки и мониторинга (Prometheus) кластера Kafka;
  • понимание принципов работы Arenadata Cluster Manager, включая развертывание и конфигурирование кластеров Arenadata Streaming и Arenadata Streaming Control;
  • использование средств IDE для работы с Kafka API (Consumer, Producer, Admin Client, Kafka Streams), включая настройку и использование инструментов сборки, таких как Maven;
  • использование Schema Registry для управления схемами и обеспечения совместимости;
  • настройка Kafka Connect и создание собственных плагин-коннекторов;
  • использование Debezium и MirrorMaker для репликации данных;
  • интеграция и применение Kafka REST Proxy и KSQL DB для обработки потоков данных;
  • понимание возможностей Kafka Streams API.
Длительность – 3 дня, 24 ак.часа
Аудитория курса
Аудитория курса включает в себя IT-специалистов, которые хотят повысить свою квалификацию в области управления потоковыми данными кластеров Apache Kafka в составе платформы Arenadata Streaming. Курс предназначен для начинающих разработчиков, инженеров данных и архитекторов. Курс будет полезен как для начинающих, так и для опытных специалистов, стремящихся расширить свои знания и умения в области работы с распределенной системой потоковой обработки данных − Arenadata Streaming.

Слушателям необходимо обладать следующим уровнем подготовки:
  • опыт в программирования на современном языке (предпочтительно Java);
  • знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
  • опыт работы с SQL.
Сертификация
  • Слушателям, успешно прошедшим сертификацию, выдается именной вендорский сертификат со статусом сертифицированного специалиста.
  • Слушателям курса предоставляется 2 попытки для прохождения проверки знаний.

Программа

Модуль 1. Обзор Arenadata Enterprise Data Platform и Arenadata Streaming
  • Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager.
  • Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka-Manager, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper).
  • Arenadata Streaming Control.
  • Arenadata Platform Security.
Модуль 2. Подготовка окружения и установка ADS: ZooKeeper/KRaft, Apache Kafka, Monitoring, ADS Control
  • Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
  • Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы. Лабораторная работа.
  • Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
  • Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper/KRaft, Apache Kafka).
  • Мониторинг ADS Prometheus/Graphite (Deprecated): архитектура сервиса/кластера мониторинга. Лабораторная работа.
  • Arenadata Streaming Control (ADS Control): планирование кластера, настройка параметров окружения и установка, обзор UI, базовые операции.
Модуль 3. Архитектура и инструменты Apache Kafka
  • Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas.
  • Topics Kafka:
    • Основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compression, retention).
    • Настройка программных инструментов: Java IDE (IntelliJ IDEA CE), Build Tool (Apache Maven).
  • Гарантии надежности Kafka (доставка/потребление).
  • Контроллер Kafka. ZooKeeper/KRaft.
  • Producers Kafka:
    • Запись сообщений в Kafka, console Producer.
    • Настройка Producers.
    • Producer API. Пример настройки Auth.
  • Consumers Kafka:
    • Сonsumer groups, ребалансировка разделов.
    • Настройка Consumers.
    • Consumer API. Пример настройки Auth.
  • Schema Registry:
    • Архитектура. Типы схем. Lifecycle. Schema compatibility. Пример эволюции схем (Kafka Java Clients).
  • Kafka REST Proxy:
    • Основные возможности и примеры использования.
Модуль 4. Kafka Connect
  • Основные понятия и инструменты. API. Установка Self-Managed Connectors. Пример использования (FileStream Connectors).
  • Создание собственных Plugin Connectors. Пример создания, упаковки и тестирования собственного Plugin Connector (Maven, Java).
  • Основные операции ADS Control: управление и добавление коннекторов. Настройка MirrorMaker, Mirror Connectors. Пример настройки. Лабораторная работа.
  • CDC Debezium: архитектура; пример использования (MS SQL); JDBC sink. Лабораторная работа.
  • SMT (Single Message Transforms).Основные возможности. Debezium Transformation/собственный класс трансформации. Примеры реализации.
Модуль 5. ksqlDB
  • Основные возможности и примеры использования. Управление потоками.
Модуль 6. Kafka Streaming API
  • Основные понятия, архитектура и инструменты.
  • Пример приложения Kafka Streams c использованием SpringBoot API (Java).
Итоговое тестирование

Даты
ближайших
курсов

  • 10-12 Ноября осталось мало мест!

Спасибо, что написали нам!

Мы обработаем заявку и свяжемся с вами в ближайшее время.

Будем рады помочь!

Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.

Корпоративная группа *
Фамилия *
Имя *
Эл. почта *
Телефон *
Наименование компании *
Опишите ваш вопрос
ошибка! проверьте правильно ли вы заполнили поля

Основы работы с Apache Kafka на базе платформы Arenadata Streaming

записаться на курс

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.