Эксплуатация Arenadata Hyperwave. Часть 2: Сервисы платформы

27-29 июля
25-27 августа
20-22 октября
25-27 ноября
15-17 декабря

Получите расширенные знания по сервисам экосистемы Hadoop и работе с компонентами обработки и анализа данных

Записаться на курс Программа курса Задать вопрос

Преимущества курса

Курс единственного в мире вендора-разработчика открытого дистрибутива Hadoop

Arenadata — единственный вендор, который на базе Apache Hadoop, open-source компонентов и проприетарных решений разрабатывает собственный дистрибутив, адаптированный для корпоративного использования и предназначенный для хранения, обработки и анализа данных любой структуры и объёма.

Только применимые на практике знания

В рамках курса слушатели получат теоретические знания и практический опыт:

  • по планированию и развёртыванию распределённых вычислительных кластеров на базе дистрибутива Arenadata Hyperwave версии 4 и системы управления Arenadata Cluster Manager;
  • работе с сервисами и компонентами платформы Arenadata Hyperwave;
  • мониторингу и оптимизации производительности системы;
  • обслуживанию и аварийному восстановлению узлов кластера и отдельных компонент.

Сертификация

  • Слушателям, успешно прошедшим сертификацию, выдается именной вендорский сертификат.
  • Слушателям курса предоставляется 2 попытки для прохождения проверки знаний.

Что представляет собой курс

Навыки слушателя после обучения

  • Установка и настройка HBase, выполнение базовых CRUD-операции, анализ состояния кластера, использование утилиты check и repair.
  • Выполнение SQL-операции в Phoenix, создание таблиц и индексов, оптимизация запросов.
  • Настройка Hive, выполнение DDL/DML-операции, конфигурирование High Availability HiveServer2.
  • Применение оптимизационных подходов к реальным запросам, анализ плана выполнения.
  • Установка и настройка Impala, выполнение запросов и анализ их планов.
  • Написание простых программ на PySpark, выполнение трансформации и действий.
  • Настройка Spark, анализ выполнения задач в Spark UI, запуск джобы через CLI и скрипты.
  • Отправка заданий на Spark через Livy API, управление сессиями и получение результов.
  • Установка и конфигурирование Kyuubi, выполнение SQL-операций.
  • Настройка HUE и использование интерфейса для работы с Hive, HDFS, Impala и Spark.
  • Создание и управление Iceberg-таблицами, работа с партиционированием и снапшотами.
  • Установка и конфигурирование Trino, выполнение запросов к различным источникам данных.
  • Настройка взаимодействия Hive, Spark, HBase, Trino, Kyuubi и Iceberg в едином контуре.

Аудитория курса

Аудитория курса

Курс актуален администраторам СУБД, архитекторам, разработчикам баз данных, инженерам данных, руководителям.

Для успешного освоения курса рекомендуется, чтобы слушатель:

  • прошел курс «Эксплуатация Arenadata Hyperwave ч1 Базовые компоненты» (либо имел знания в сопоставимом объеме);
  • имел базовые знания Linux (работа с консолью, файловой системой, пользователями, сетевыми настройками);
  • понимал основные принципы сетевых взаимодействий (IP-адресация, DNS, SSH, порты);
  • обладал начальными знаниями об архитектуре распределённых систем и принципах хранения данных;
  • умел читать и редактировать конфигурационные файлы (YAML, XML, INI);
  • имел представление о Big Data-концепциях — что такое Data Lake, Data Warehouse, партиционирование данных, отказоустойчивость;
  • имел базовые знания SQL (SELECT, JOIN, фильтрация, агрегирование);
  • имел представление о Python на уровне чтения и написания простых скриптов (работа с файлами, логами, API, обработка данных);
  • Желательно (но не обязательно) имел опыт работы с системами мониторинга (Prometheus, Grafana) или управления кластерами (Ambari, ADCM).

Сертификация

По итогам

  • Слушателям курса предоставляется 2 попытки для прохождения проверки знаний.
  • Слушателям, успешно прошедшим сертификацию, выдается именной вендорский сертификат.
сертификат

Программа обучения

Модуль 1

Концепция и структура гибридной платформы данных

  • Arenadata Hyperwave (ADH). Гибридная платформа данных.
Модуль 2

Сервисы обработки, хранения и доступа к данным платформы ADH

HBase

  • Основные понятия и примеры операций.
  • Установка и конфигурирование (GC, Memstore, Compression, Load balancing, Flush).
  • High Availability.
  • Работа с утилитами HBase.

Phoenix

  • Основные операции с данными

Hive

  • Примеры запросов Hive.
  • Основные понятия и примеры операций.
  • Установка и конфигурирование.
  • High Availability HiveServer.
  • Работа с утилитами Hive (schema-tool).
  • Работа с Tez UI.
  • Оптимизация запросов Hive.

Impala

  • Архитектура и конфигурирование.

Spark

  • Основные понятия и операции.
  • Установка и конфигурирование.
  • Работа со Spark UI. Примеры кода.
  • Dynamic Allocation.
  • Работа с Livy сервером (REST API).

Kyuubi

  • Архитектура, подключение и примеры операций.
  • Установка и конфигурирование.

HUE

  • Установка, конфигурирование и обзор UI.

Iceberg

  • Основные возможности.
  • Архитектура таблиц Iceberg.
  • Обслуживание таблиц Iceberg.
  • Работа с Iceberg через Spark (практика SQL и конфигурации).

Trino

  • Архитектура, установка и конфигурирование.
  • Конфигурационные файлы, коннекторы.
  • Особенности SQL запросов.
Модуль 3

Взаимодействие компонентов платформы данных в тестовой среде

  • Интеграция Ozone с сервисами кластера.
  • Взаимодействие сервисов ADH на ETL-стенде, демонстрация нагрузки.

Сессия вопросов и ответов

Итоговое тестирование

«Эксплуатация Arenadata Hyperwave. Часть 2: Сервисы платформы»

Ближайший старт:

27-29 Июля

Длительность:

3 дня , 24 ак.ч.

Записаться на курс

Спасибо, что написали нам!

Мы обработаем заявку и свяжемся с вами в ближайшее время.

Будем рады помочь!

Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.

Для юридических лиц.

Корпоративная группа *
Фамилия *
Имя *
Должность/Роль в компании *
Эл. почта *
Телефон *
Наименование компании *
Опишите ваш вопрос
ошибка! проверьте правильно ли вы заполнили поля

Остались вопросы?

Если вы не нашли ответа на свой вопрос, вы можете воспользоваться формой обратной связи

хочу спросить

Как проходит обучение

Обучение проходит дистанционно в формате вебинаров. Теория перемежается с лабораторными работами, стенд разворачивается для каждого участника, с преподавателями можно общаться на протяжении всего обучения как голосом, так и в чате.

Занятия проводятся с отрывом от производства.

Время проведения занятий с 10:00 до 18:00 мск, если курс рассчитан на целый день.

Корпоративное обучение

Если ваша компания планирует внедрять решения Arenadata или уже работает с ними, вы можете воспользоваться возможностями корпоративного обучения и записать на интересующий курс команду от десяти человек.

Открытые группы

Периодически обучение проходит в смешанных открытых группах. Если вы планируете обучить менее 10 сотрудников, то смело записывайтесь в одну из них. Ориентироваться можно на расписание ниже.

Оставьте заявку на обучение и мы расскажем вам подробнее о том, как набирается группа и сколько свободных мест осталось.

Что получает слушатель по окончанию занятий

После успешной сдачи итогового тестирования, участникам выдается именной вендорский сертификат.

Хотите записаться на курс?

Да, хочу!

Этот сайт использует cookie-файлы и сервис Яндекс.Метрика, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать посещения сайта и использование наших продуктов и услуг. Вы можете ознакомиться с Политикой конфиденциальности.