Установка Cloudera Сомневаетесь?

Я новичок в cloudera, я успешно установил cloudera в свою систему, у меня есть два сомнения:

  • Рассмотрим машину с некоторыми узлами, уже использующими Hadoop с некоторыми данными. Можем ли мы установить Cloudera для использования существующего Hadoop без каких-либо изменений или модификаций данных, хранящихся в существующем Hadoop.

  • Я установил Cloudera на свою машину, у меня есть еще три машины, чтобы добавить их в качестве кластеров, я хочу знать, хочу ли я установить cloudera на этих трех машинах, прежде чем добавлять эти машины в качестве кластеров? Или мы можем добавить узел в качестве кластеров без установки cloudera на эти пуртикулярные узлы?.

Заранее спасибо, может кто-нибудь, пожалуйста, дайте некоторую информацию по вышеуказанным вопросам.


amazon-web-services hadoop cloudera apache-pig ganglia
person Prabhu    schedule 24.07.2013    source источник
comment
Нужны пояснения по первому вопросу: у вас есть другой дистрибутив Hadoop на некоторых узлах, и вы хотите изменить этот дистрибутив на Cloudera?   -  person SSaikia_JtheRocker    schedule 24.07.2013
comment
Спасибо, @JtheRocker, Да. Если у меня другой дистрибутив хаупа на некоторых узлах, могу ли я изменить этот дистрибутив на клодеру без потери данных?   -  person Prabhu    schedule 24.07.2013

Ответы (3)


arrow_upward
2
arrow_downward

Ответ на вопросы -

1. Если вы хотите перейти на CDH из существующего дистрибутива Apache, вы можете следовать этому ссылка

Отрывок:

Обзор

Процесс миграции требует среднего понимания системного администрирования Linux. Вы должны составить план, прежде чем начать. Вы будете перезапускать некоторые критически важные службы, такие как узел имени и средство отслеживания заданий, поэтому необходимо некоторое время простоя. Учитывая ценность данных в вашем кластере, вы также должны быть осторожны при создании последних резервных копий любых критически важных наборов данных, а также метаданных узла имени.

Резервное копирование ваших данных особенно важно, если вы обновляете версию Hadoop, основанную на выпуске Apache Software Foundation до 0.20.

2Двоичный файл .CDH необходимо установить и настроить на всех узлах, чтобы кластер на основе CDH был запущен и работал.

person SSaikia_JtheRocker    schedule 24.07.2013

arrow_upward
1
arrow_downward

Из Руководства Cloudera< /а>

Вы можете перенести данные из кластера CDH3 (или любого Apache Hadoop) в кластер CDH4 с помощью инструмента, который копирует данные параллельно, например инструмента DistCp, предлагаемого в CDH4.

Другие источники

Что касается вашего второго вопроса,

Снова со страницы руководства .

Важно: Прежде чем продолжить, вам необходимо решить:

Общее правило: NameNode и JobTracker работают на одном и том же «главном» хосте, если только кластер не большой (более нескольких десятков узлов), и на главном хосте (или хостах) не должен запускаться вторичный NameNode (если он используется). ), службы DataNode или TaskTracker. В большом кластере особенно важно, чтобы вторичный NameNode (если он используется) работал на машине, отличной от NameNode. На каждом узле в кластере, за исключением главного узла (узлов), должны быть запущены службы DataNode и TaskTracker.

Кроме того, если вы используете Cloudera Manager, он автоматически выполнит всю необходимую настройку, т. е. установит необходимые выбранные компоненты на узлах в кластере.

Не по теме: у меня была дурная привычка не ссылаться на руководство должным образом. Взгляните на него ясно, он отвечает на все наши вопросы

person Suvarna Pattayil    schedule 24.07.2013
comment
Спасибо @SuvP, могу ли я добавить новую машину в качестве кластера с моей машиной через cloudera? На самом деле на свежей машине нет cdh. - person Prabhu; 24.07.2013

arrow_upward
0
arrow_downward

Ответ на ваш второй вопрос вы можете добавить напрямую, установив несколько предварительных условий, таких как openssh-клиенты и брандмауэры и java.

эти машины (существующий узел, новые три узла) должны принимать одно и то же имя пользователя и пароль (или) вы должны установить ssh без пароля для этих хостов.

вы должны подключиться к Интернету при добавлении узлов.

Я надеюсь, что это поможет вам :)

person Chennakrishna    schedule 30.11.2015