Невозможно запустить большинство сервисов HDP2.6.1 Sandbox на экземпляре AWS EC2

Я установил песочницу HDP2.6.1 с помощью докера на экземпляре AWS EC2 [c5.4xlarge - CentOS 7 (x86_64) - с обновлениями].

Я также могу изменить пароль администратора и войти в пользовательский интерфейс Ambari как пользователь с правами администратора. Но когда я вхожу в пользовательский интерфейс Ambari [http: // myEC2 hostIP: 8080], я мог видеть, что все / большинство служб желтого цвета [отображается состояние потери пульса].

Пользовательский интерфейс тестовой среды Ambari HDP

Я попытался запустить Start ALL, но все еще ни одна из служб не запускается, а также службы, отмеченные желтым цветом, даже не показывают мне возможность запуска этой службы.

Я не вносил никаких изменений в настройку контейнера докеров или в мою виртуальную машину centos. Я не уверен, чего не хватает?

Пожалуйста, помогите мне решить эту проблему.

С Уважением


amazon-ec2 hadoop hdp hadoop2 hortonworks-sandbox
person Chauhan B    schedule 15.02.2019    source источник
comment
По какой причине вы не используете EMR или Cloudbreak? Сама песочница не обновлялась несколько лет   -  person OneCricketeer    schedule 16.02.2019
comment
Я новичок в таких административных задачах и не уверен, как EMR или Cloudbreak могут мне здесь помочь. Эти опции бесплатные или платные? Также, используя EMR, смогу ли я использовать Nifi, Apache Tika, pyspark, sparkR, sqoop и т. Д. Инструменты экосистемы Hadoop? Что мне пригодится с песочницей hdp?   -  person Chauhan B    schedule 16.02.2019
comment
EMR - это просто Hadoop. Вы должны установить дополнительные вещи отдельно, используя такие инструменты, как CloudFormation, Ansible, Terraform и т. Д., Которые используют большинство средних и крупных компаний, а не единый пакет песочницы «все-в-одном». Cloudbreak должен идти с ними, так как им управляет Hortonworks (он просто устанавливает распределенный кластер HDP / HDF). И то и другое можно использовать бесплатно, но вы все равно платите за AWS.   -  person OneCricketeer    schedule 17.02.2019

Ответы (1)


arrow_upward
0
arrow_downward

Наконец, после долгой отладки я понял, что мне не хватает записи в файле / etc / hosts моего экземпляра EC2. Как только я сделал следующую запись в файле / etc / hosts, он начал работать.

Я добавил строку MY.EC2.IP.ADDRESS sandbox.hortonworks.com ip-MY.EC2.IP.ADDRESS.us-east-2.compute.internal в ваш файл / etc / hosts, где MY.EC2.IP.ADDRESS - это частный IP-адрес моего экземпляра EC2.

Затем я вошел в свой контейнер песочницы, используя:

[[email protected] ~]$ ssh [email protected] -p 2222
enter password: your password
Restart ambari-agent and ambari-server
[root@sandbox ~]service ambari-agent status
[root@sandbox ~]service ambari-agent restart
[root@sandbox ~]service ambari-server status
[root@sandbox ~]service ambari-server restart

Наконец, я вернулся к пользовательскому интерфейсу Ambari и запустил все необходимые службы индивидуально. Моя песочница заработала.

:-)

person Chauhan B    schedule 16.02.2019