Основы работы с Apache Kafka на базе платформы Arenadata Streaming

записаться на курс

Курс «Основы работы с Apache Kafka на базе платформы Arenadata Streaming»

Курс «Основы работы с Apache Kafka на базе платформы Arenadata Streaming» поможет сформировать представление об архитектуре и функционировании кластера Apache Kafka. Участники изучат архитектуру и инструменты Apache Kafka, включая ключевые концепции и объекты, такие как Consumers, Producers и Topics. практической части курса слушатели познакомятся с инструментами для разработки и сборки кода на языке Java в IDE для работы с Kafka API’s, а также научатся настраивать обмен данных кластера Kafka и внешних систем с помощью Kafka Connect и создавать собственные коннекторы. Рассмотрят основные возможности потоковой обработки данных с помощью Kafka Streams.
программа курса
Что представляет собой курс
Аудитория курса
Сертификация
Что представляет собой курс
Курс «Основы работы с Apache Kafka на базе платформы Arenadata Streaming» − практический тренинг, посвящённый использованию Apache Kafka в среде Arenadata Streaming, а также разработке и запуску приложений с использованием Kafka API на Java. В его рамках участники получат теоретические знания и практический опыт:
  • архитектура Arenadata Streaming, Arenadata Streaming Control и Arenadata Platform Security.
  • архитектура и инструменты Apache Kafka (Consumers, Producers, Topics, Kafka Connect, Debezium, MirrorMaker, Schema Registry, Kafka REST Proxy, KSQL DB, Kafka Streams);
  • использование Arenadata Streaming Control (ADS Control) для управления кластерами Arenadata Streaming;
  • понимание принципов подготовки окружения, установки, настройки и мониторинга (Prometheus) кластера Kafka;
  • понимание принципов работы Arenadata Cluster Manager, включая развертывание и конфигурирование кластеров Arenadata Streaming и Arenadata Streaming Control;
  • использование средств IDE для работы с Kafka API (Consumer, Producer, Admin Client, Kafka Streams), включая настройку и использование инструментов сборки, таких как Maven;
  • использование Schema Registry для управления схемами и обеспечения совместимости;
  • настройка Kafka Connect и создание собственных плагин-коннекторов;
  • использование Debezium и MirrorMaker для репликации данных;
  • интеграция и применение Kafka REST Proxy и KSQL DB для обработки потоков данных;
  • понимание возможностей Kafka Streams API.
Длительность – 3 дня, 24 ак.часа
Аудитория курса
Аудитория курса включает в себя IT-специалистов, которые хотят повысить свою квалификацию в области управления потоковыми данными кластеров Apache Kafka в составе платформы Arenadata Streaming. Курс предназначен для начинающих разработчиков, инженеров данных и архитекторов. Курс будет полезен как для начинающих, так и для опытных специалистов, стремящихся расширить свои знания и умения в области работы с распределенной системой потоковой обработки данных − Arenadata Streaming.

Слушателям необходимо обладать следующим уровнем подготовки:
  • опыт в программирования на современном языке (предпочтительно Java);
  • знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
  • опыт работы с SQL.
Сертификация
  • Слушателям, успешно прошедшим сертификацию, выдается именной вендорский сертификат со статусом сертифицированного специалиста.
  • Слушателям курса предоставляется 2 попытки для прохождения проверки знаний.

Программа

Обзор Arenadata Enterprise Data Platform и Arenadata Streaming
  • Экосистема EDP: Arenadata Streaming, Arenadata Hadoop, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager
  • Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka-Manager, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper, KRaft)
  • Arenadata Streaming Control
  • Arenadata Platform Security
Подготовка окружения и установка ADS: ZooKeeper, KRaft, Apache Kafka, Apache NiFi
  • Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
  • Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.
  • Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
  • Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache Kafka, Apache NiFi).
  • Мониторинг ADS (Graphite + Grafana): архитектура кластера мониторинга.
  • Мониторинг ADS (Prometheus+Grafana): архитектура сервиса мониторинга.
Архитектура и инструменты Apache Kafka
  • Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas.
  • Topics Kafka:
    • основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compaction, retension).
    • AdminClient API. Примеры программного использования.
  • Гарантии надежности Kafka (доставка/потребление).
  • Producers Kafka:
    • Запись сообщений в Kafka, console Producer.
    • Настройка Producers.
    • Producer API. Пример настройки Auth.
  • Consumers Kafka:
    • Чтение данных из Kafka, console consumer.
    • Сonsumer groups, ребалансировка разделов.
    • Настройка Consumers.
    • Consumer API. Пример настройки Auth.
  • Изменение параметров Topics, consumer groups, Partitions
Kafka Streams
  • KStreams API DSL: KStream, KTable, GlobalKTable.
  • Processor API.
  • Kafka Streams & Spring Boot.
Kafka Connect
  • Основные понятия и инструменты.
  • FileStream Connectors (sink/source).
  • JDBC Connector (sink/source), Iceberg Sink.
  • CDC Debezium, (JDBC sink).
  • Kafka ADB Connectors. Демо.
  • Создание собственного коннектора.
  • SMT (Single Message Transforms) Debezium Transformation/собственный класс трансформации.
Kafka REST Proxy
  • Основные операции и примеры использования.
ksqlDB
  • Основные возможности и примеры использования.
  • Управление потоками.
Schema Registry
  • Сериализация и десериализация данных.
  • Операции со схемами. REST API.
Arenadata Streaming Control (ADS Control)
  • Основные операции ADS Control: управление и добавление коннекторов (FileStreamSinkConnector, FileStreamSourceConnector, MirrorCheckpointConnector, MirrorHeartbeatConnector, MirrorSourceConnector, пользовательских, Debezium).
Итоговое тестирование
  • Успешно прошедшим сертификацию слушателям выдается именной вендорский сертификат.
  • Слушателям курса предоставляется 2 попытки для прохождения проверки знаний.

Даты
ближайших
курсов

  • 10-12 Ноября осталось мало мест!

Спасибо, что написали нам!

Мы обработаем заявку и свяжемся с вами в ближайшее время.

Будем рады помочь!

Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.

Корпоративная группа *
Фамилия *
Имя *
Эл. почта *
Телефон *
Наименование компании *
Опишите ваш вопрос
ошибка! проверьте правильно ли вы заполнили поля

Основы работы с Apache Kafka на базе платформы Arenadata Streaming

записаться на курс

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.