Эксплуатация Arenadata Hadoop

записаться на курс

Новый курс «Эксплуатация Arenadata Hadoop»

Курс «Эксплуатация Arenadata Hadoop» поможет вам получить актуальные знания по работе с Arenadata Hadoop и успешно применять их на практике.
программа курса

Преимущества курса «Эксплуатация Arenadata Hadoop»

Курс от вендора-разработчика открытого дистрибутива Hadoop

Arenadata — единственный вендор, который на базе Apache Hadoop разрабатывает собственный дистрибутив, адаптированный для корпоративного использования и предназначенный для хранения и обработки слабоструктурированных и неструктурированных данных.

Сертификация

Слушатели, успешно сдавшие экзамен по курсу «Эксплуатация Arenadata Hadoop», получат именной вендорский сертификат и статус сертифицированного специалиста ADCS Hadoop: System Administrator.

Только применимые на практике знания

В рамках курса слушатели получат теоретические знания и практический опыт:

  • по планированию и развёртыванию распределённых вычислительных кластеров Hadoop на базе дистрибутива Arenadata Hadoop версии 2 и системы управления Arenadata Cluster Manager;
  • работе с продуктами экосистемы Hadoop;
  • мониторингу и оптимизации производительности системы;
  • обслуживанию и аварийному восстановлению узлов кластера и отдельных компонент.
Что представляет собой курс «Эксплуатация Arenadata Hadoop»
Аудитория курса
Как проходит курс
Сертификация
Что представляет собой курс «Эксплуатация Arenadata Hadoop»
«Эксплуатация Arenadata Hadoop» — 5-дневный практический курс по администрированию, установке и настройке кластера Hadoop под управлением Arenadata Cluster Manager. В рамках данного курса участники получат теоретические знания и практический опыт по:
  • планированию и развертыванию распределенных вычислительных кластеров Hadoop на базе дистрибутива Arenadata Hadoop версии 2 и системы управления Arenadata Cluster Manager;
  • работе с продуктами экосистемы Hadoop;
  • мониторингу и оптимизации производительности системы;
  • обслуживанию и аварийному восстановлению узлов кластера и отдельных компонент.
Аудитория курса
Курс будет интересен системным администраторам Hadoop, которые хотят получить знания по продуктам экосистемы Hadoop и продвинутые навыки по установке, конфигурированию, обслуживанию, восстановлению и управлению кластером Hadoop с использованием дистрибутива Arenadata Hadoop и системы управления Arenadata Cluster Manager.
Как проходит курс
Занятия проходят удаленно с отрывом от производства. Курс проводится в формате вебинара: вас ждет общение с преподавателем, лекционная часть, практические работы на виртуальных машинах и разбор лабораторных работ, сессия вопросов-ответов с практиками из Arenadata. Время занятий с 10:00 до 18:00 мск. Группы набираются в двух форматах:
  • Корпоративные (заказчик записывает на курс команду от 10 человек, даты занятий согласуются отдельно)
  • Открытые (смешанные группы, в которые входят представители нескольких компаний, такие занятия проходят по расписанию)
Сертификация
Слушатели, успешно сдавшие экзамен по курсу «Эксплуатация Arenadata Hadoop», станут обладателями именного сертификата и получат статус сертифицированного специалиста ADCS Hadoop: System Administrator.
Что представляет собой курс «Эксплуатация Arenadata Hadoop»

«Эксплуатация Arenadata Hadoop» — 5-дневный практический курс по администрированию, установке и настройке кластера Hadoop под управлением Arenadata Cluster Manager. В рамках данного курса участники получат теоретические знания и практический опыт по:

  • планированию и развертыванию распределенных вычислительных кластеров Hadoop на базе дистрибутива Arenadata Hadoop версии 2 и системы управления Arenadata Cluster Manager;
  • работе с продуктами экосистемы Hadoop;
  • мониторингу и оптимизации производительности системы;
  • обслуживанию и аварийному восстановлению узлов кластера и отдельных компонент.
Аудитория курса

Курс будет интересен системным администраторам Hadoop, которые хотят получить знания по продуктам экосистемы Hadoop и продвинутые навыки по установке, конфигурированию, обслуживанию, восстановлению и управлению кластером Hadoop с использованием дистрибутива Arenadata Hadoop и системы управления Arenadata Cluster Manager.

Как проходит курс

Занятия проходят удаленно с отрывом от производства. Курс проводится в формате вебинара: вас ждет общение с преподавателем, лекционная часть, практические работы на виртуальных машинах и разбор лабораторных работ, сессия вопросов-ответов с практиками из Arenadata. Время занятий с 10:00 до 18:00 мск. Группы набираются в двух форматах:

  • Корпоративные (заказчик записывает на курс команду от 10 человек, даты занятий согласуются отдельно)
  • открытые (смешанные группы, в которые входят представители нескольких компаний, такие занятия проходят по расписанию)
Сертификация

Слушатели, успешно сдавшие экзамен по курсу «Эксплуатация Arenadata Hadoop», станут обладателями именного сертификата и получат статус сертифицированного специалиста ADCS Hadoop: System Administrator.

Программа

Введение в экосистему Hadoop
  • История возникновения Hadoop:
    • Понятия BigData, Data Lake. История проекта.
      Основные компоненты и экосистема.
  • Основные проекты Hadoop:
    • HDFS, MR, YARN, Hive, Tez, HBase, Phoenix, Solr, Spark, Zookeeper. Описание и основные компоненты.
  • Дистрибутивы Hadoop:
    • Проект ODPi. Arenadata Hadoop. Проект Ambari. ADCM.
  • Архитектура кластера Hadoop:
    • HDFS. YARN. Отказоустойчивость
Подготовка окружения к установке Hadoop
  • Планирование кластера:
    • Типы узлов. Профили нагрузки. Аппаратное обеспечение. Примеры кластеров.
  • Настройка параметров окружения:
    • Подготовка к установке. Настройка сети и DNS. Лабораторная работа.
  • Монтирование и настройка файловой системы:
    • Лабораторная работа
Введение в Arenadata Cluster Manager
  • Основные понятия и компоненты
  • Развертывание системы управления:
    • Лабораторная работа.
  • Подготовка и настройка инфраструктуры с использованием бандла:
    • Лабораторная работа.
  • Планирование и первичная конфигурация кластера Hadoop
    • Установка и настройка мониторинга:
    • Лабораторная работа.
  • Установка кластера Hadoop:
    • Лабораторная работа.
  • Мониторинг. Работа с метриками в Grafana.
  • Подходы к конфигурированию сервисов экосистемы Hadoop.
  • Основные конфигурационные файлы и описание:
    • HDFS+YARN (hdfs-site, yarn-site, hadoop-env).
    • Hive+Tez (hive-site, tez-site, hive-env).
    • HBase (hbase-site, hbase-env).
    • Spark (spark-env).
    • Zookeeper (zoo.cfg).
  • Работа с логами сервисов, поиск и выявление проблем работы с сервисами.
  • Интерпретация статусов тестов, сервисов в системе управления ADCM.
  • Обзор возможностей ADCM:
    • Аутентификация. RBAC.
    • Configuration groups.
    • API.
    • Логирование аудита.
  • Удаление кластера
Пост-настройка кластера Hadoop: HDFS, YARN
  • Файловая система HDFS
  • Основные операции в HDFS:
    • Работа с файлами и каталогами. Balancer.
      Распределенное копирование. HttpFS. Лабораторные работы.
  • Обслуживание и дианостика HDFS:
    • DataNodes, NameNodes, HA. HDFS UI. Лабораторная работа.
  • Политики хранения и размещения в HDFS:
    • Политики хранения. Tiering. Erasure Coding. Rack Awareness. Лабораторные работы
  • Компрессия и форматы файлов
  • Парадигма Map Reduce:
    • Лабораторная работа (опционально).
  • Архитектура YARN, HA-режим. Работа с YARN UI.
  • Scheduler YARN:
    • Лабораторная работа
Проверка работоспособности кластера
  • ZooKeeper. Основные понятия и операции. Работа с Zookeeper CLI.
  • HBase. Основные понятия и примеры операций. Установка и конфигурирование (GC, Memstore, Compression, Load balancing, Flush). High Availability. Работа с утилитами HBase (check, repair).
  • Phoenix. Основные операции с данными. Примеры запросов Hive. Основные понятия и примеры операций. Установка и конфигурирование. High Availability HiveServer.
  • Работа с утилитами Hive (schema-tool). Работа с Tez UI.
  • Оптимизация запросов Hive:
    • Лабораторная работа
  • Spark. Основные понятия и операции.
  • Установка и конфигурирование. Работа со Spark UI. Примеры кода.
  • Работа с Livy сервером (REST API)
  • Zeppelin. Основные интерпретаторы и примеры кода
Итоговое тестирование

Спасибо, что написали нам!

Мы обработаем заявку и свяжемся с вами в ближайшее время.

Будем рады помочь!

Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.

Корпоративная группа *
Фамилия *
Имя *
Эл. почта *
Телефон *
Наименование компании *
Опишите ваш вопрос
ошибка! проверьте правильно ли вы заполнили поля

Эксплуатация Arenadata Hadoop

записаться на курс

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.