CDH4 - Смешайте 64-битную и 32-битную машину

Да, можно подключить 32- и 64-битные машины к одному кластеру, даже если на 64-битной машине был установлен менеджер cloudera.

Итак, в основном вам нужно загрузить и установить пакет cloudera для 32-битной машины на каждом 32-битном хосте: sudo yum --nogpgcheck -y localinstall cloudera-cdh-4-0.i386.rpm

Затем установите hadoop-hdfs-datanode: sudo yum -y install hadoop-hdfs-datanode

Если вы хотите назначить каталог / my-hdfs-dir для hdfs, убедитесь, что hdfs является владельцем этого каталога (для каждого 32-битного хоста): chown -R hdfs /my-hdfs-dir

Вам нужно добавить 32-битный хост в список разрешенных хостов: dfs_hosts_allow.txt. В моем случае этот файл находится в /var/run/cloudera-scm-agent/process/847-hdfs-NAMENODE. Обычно, если вы перейдете к /var/run/cloudera-scm-agent/process/, вы найдете список процессов, вам нужно изменить самый последний процесс NAMENODE. Чтобы принять во внимание новые узлы, обновите узлы: sudo -u hdfs hdfs dfsadmin -refreshNodes

Вам также необходимо настроить каждый 32-битный хост. Самый простой - скопировать файлы core-site.xml и hdfs-site.xml с одного существующего 64-битного ведомого устройства. Вы найдете эти файлы в /var/run/cloudera-scm-agent/process/xxx-hdfs-DATANODE на ведомом устройстве. Вы можете прокомментировать все свойства, содержащие название мази, из которой вы копируете файлы (в этом нет необходимости). После изменения файла скопируйте его на все 32-битные хосты в /etc/hadoop/conf.

Теперь вы можете запускать hdfs на 32-битных хостах: sudo service hadoop-hdfs-datanode start

Вы можете проверить, установлен ли новый узел данных, просмотрев master_ip:50070. К сожалению, я не думаю, что есть возможность увидеть эти новые машины в веб-интерфейсе cloudera manager. Если кто-то знает решение, это очень приветствуется.