Обновление HDP с 2.1 до 2.2 RHEL6

У меня есть кластер с 1 узлом имени и 4 узлами данных в Red Hat Linux Enterprise 6. Моя версия HDP - 2.1. Версия Ambari была 1.7, но я обновил ее до 2.1. Я хочу обновить HDP до версии 2.2. Я читал, что если я хочу обновить HDP с 2.1 до 2.2, я должен сделать это до обновления Ambari до 2.1. Когда я обновляю hdp до 2.2, ambari не видит никаких изменений, и все не работает. Я использую это руководство: http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.2.0/HDP_Man_Upgrade_v22/index.html#Item1

Как я могу это сделать? Я попытался понизить версию Ambari до 1.7, но у меня было много ошибок. Что, если я попробую обновить сейчас hdp до 2.2, а затем свой ambari с 2.1 до 2.1.1. Это будет работать? Проблема в том, что у меня очень мало времени. заранее спасибо


person Edgar    schedule 10.09.2015    source источник
comment
По моему опыту, чтобы запустить NameNode, мне пришлось в hadoop-env.sh изменить HADOOP_NAMENODE_OPTS, чтобы увеличить размер кучи, например _1_.   -  person Randall Whitman    schedule 20.01.2016


Ответы (1)


Я обновляюсь с HDP-2.0 / Hadoop-2.2 до HDP-2.2 / Hadoop-2.6 (возможно, временно, по пути к HDP-2.3) в кластере разработки / тестирования. Пока что я установил и запустил обновленную HDFS. Я еще не запускал / не останавливал HDFS через Ambari, и у меня еще не запущен YARN. Обновление: у меня есть YARN, MapReduce и Hive для запуска после нахождения документации HDP-2.2 (текущие ссылки добавлены ниже).

Вот мои грубые заметки о том, как я дошел до этого:

  1. обновите файл репо HDP yum на каждом узле и обновите с помощью yum (cssh) http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.2.6.0/hdp.репо
  2. hdp-select
  3. sudo su -l hdfs -c "/usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh start namenode -upgrade"
    /etc/hadoop/conf.empty/core-site.xml.rpmsave , hdfs-site.xml
    sudo su -l hdfs -c "/usr/hdp/current/hadoop-hdfs-datanode/../hadoop/sbin/hadoop-daemon.sh start datanode"
    hadoop dfsadmin -finalizeUpgrade
  4. обновить ambari-1.7 до 2.1

[Обновить]

  1. настроить пряжу и mapreduce - yarn-site.xml, yarn-env.sh [?], container-executor.cfg, mapred-site.xml
    sudo ln -s /usr/hdp/2.2.6.0-2800/hadoop / libexec / / usr / lib / hadoop / # амбари настаивает на / usr / lib / hadoop
    остановить-запустить диспетчер ресурсов, запустить диспетчер узлов
  2. hive-site.xml в файлах conf.dist и conf.server; ручной запуск
  3. Ссылка для обновления до 2.2 - это 404, когда я пытаюсь получить к ней доступ сегодня, и она также недоступна на Wayback Machine.

обновить ambari-1.4 до 1.7

person Randall Whitman    schedule 29.01.2016