Методические рекомендации к теме "Hadoop v2"

1.

Методические рекомендации к ДЗ
Выполнить загрузку docker-образа кластера и последующий
запуск
docker pull cloudera/quickstart:latest
docker run --hostname=quickstart.cloudera -privileged=true -t -i -p 7180:7180 -p 8888:8888 -p
8088:8088 -p 2181:2181 -p 8090:8090 -p 19888:19888 -p
50070:50070 -p 18088:18088 -p 11000:11000 -p
10002:10002 -p 60010:60010 -p 8042:8042
cloudera/quickstart /usr/bin/docker-quickstart
Авторизоваться в веб-консоли Hue
Логин: cloudera
Пароль: cloudera
Убеждаемся в работоспособности образа, проверив
базовую доступность Hue по адресу 127.0.0.1:8888
Пререквизиты установки: виртуальная машина, с
установленным docker, минимум 2 ядра, 30 гб хранилища,
оптимально 16гб ОЗУ, минимум – 8 гб ОЗУ
При выборе зеркала, откуда будет загружен образ,
выбирать docker.io, redhat недоступен. Образ – большой,
рассчитывать на 4гб скачивания из интернета.
Объяснение ключей запуска можно посмотреть по ссылке.
Внимательно смотреть, чтобы не было лишних переносов и
пробелов. Результат запуска: доступная веб-консоль hue по
адресу 127.0.0.1:8888
После запуска docker run консоль позволяет выполнять
команды внутри контейнера.

2.

Методические рекомендации к ДЗ
Выполнить запуск cloudera-manager из терминала контейнера
/home/cloudera/cloudera-manager --express
Авторизоваться в веб-консоли cloudera-manager
Логин: cloudera
Пароль: cloudera
Используя панель навигации cluster запустить сервисы
Zookeeper, HDFS, Hive, Yarn, Hue. Предоставить скриншоты
запущенных нод\сервисов, например:
Через web-ui ресурс-менеджера Yarn сделать скриншот ноды,
ответить на вопрос: Сколько выделено ресурсов?
Web-ui доступен через ссылку в разделе yarn:
Адрес в браузере, возможно,
придется изменить с
qlaudera.hadoop на 127.0.0.1,
оставив порт
Если ОЗУ < 8 ГБ, добавить ключ –force для того, чтобы не
блокировался запуск. После запуска все сервисы внутри
контейнера будут по умолчанию выключены, включая hue.
Запуск идет изнутри контейнера docker.
Навигация
Консоль
Результат запуска: доступная
веб-консоль cloudera-manager
по адресу 127.0.0.1:7180
Управление запуском

3.

Методические рекомендации к ДЗ
Создать директорию на hdfs в /tmp
hdfs dfs -mkdir somedir
Авторизоваться в веб-консоли Hue
Логин: cloudera
Пароль: cloudera
Загрузить через веб-консоль HUE в директорию
любой файл, в ранее созданный каталог больше размера
блока по умолчанию.
В контейнере докера выполнить команду, предоставить и
объяснить выдачу:
hdfs fsck /path_to_file/file.file –blocks –files -locations
После запуска docker run консоль позволяет выполнять
команды внутри контейнера.

4.

Методические рекомендации к ДЗ
Установить демонстрационные данные в Hive
Переключиться в hive
Выполнить команды, освоенные в курсе SQL