Hadoop Nodemanager и Resourcemanager не запускаются

Я пытаюсь настроить последний кластер с одним узлом Hadoop 2.2 на 64-разрядной версии Ubuntu 13.10. ОС - это новая установка, и я пытался использовать как 64-разрядную версию java-6, так и 64-разрядную версию java-7.

После выполнения шагов из этого, а после неудачи из этого, я не могу запустить nodemanager и resourcemanager с помощью команды:

sbin/yarn-daemon.sh start nodemanager
sudo sbin/yarn-daemon.sh start nodemanager

и менеджер ресурсов с

sbin/yarn-daemon.sh start resourcemanager
sudo sbin/yarn-daemon.sh start resourcemanager

и оба терпят неудачу с ошибкой:

starting nodemanager, logging to /home/hduser/yarn/hadoop-2.2.0/logs/yarn-hduser-nodemanager-ubuntu.out
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/service/CompositeService
    at java.lang.ClassLoader.defineClass1(Native Method)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:788)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:447)
    at java.net.URLClassLoader.access$100(URLClassLoader.java:71)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)

Диспетчер ресурсов завершается с аналогичной ошибкой: NoClassDefFoundError

Я пробовал это в течение многих часов и пробовал Google, и ничего не получалось. Пожалуйста, дайте мне знать, что я пропустил. Это и эта ссылка при поиске решения не работала.

Я пытался использовать как java-6, так и java-7 64 бит, но безуспешно.

Изменить

В принятом ответе удалось избавиться от исключения, и все демоны теперь запускаются, но все еще есть исключение при выполнении заданий, упомянутое в этот вопрос


hadoop bigdata yarn ubuntu-13.10
person SpeedBirdNine    schedule 23.10.2013    source источник
comment
Я хочу, чтобы кто-то с хорошим знанием хаупа ответил на это. Со своей стороны, проверьте, сможете ли вы найти что-нибудь после прочтения этого - javareferencegv.blogspot. ком/2013/10/   -  person Gaurav Varma    schedule 24.10.2013

Ответы (2)


arrow_upward
4
arrow_downward

Эти инструкции устарели и, кажется, отражают один из самых ранних альфа-релизов. Внесите это изменение: YARN_HOME -> HADOOP_YARN_HOME. Некоторое время назад переменная окружения была переименована. Это должно исправить это для вас.

Вы можете использовать Apache Ambari 1.4.1, который упрощает установку Hadoop и многих компонентов его экосистемы. Информацию об установке с помощью Ambari см. на http://docs.hortonworks.com/#2.0.

person Vinod Kumar Vavilapalli    schedule 24.10.2013
comment
Спасибо, демоны теперь запускаются, но есть исключение при выполнении заданий. См. мой другой вопрос: stackoverflow.com/questions/19642862/ - person SpeedBirdNine; 28.10.2013

arrow_upward
0
arrow_downward

вы должны увидеть, что это решение, добавьте $HADOOP_HOME/share/ и его подкаталоги. http://www.srccodes.com/p/article/46/noclassdeffounderror-org-apache-hadoop-service-compositeservice-shell-exitcodeexception-classnotfoundexception

person zhaozhi    schedule 30.07.2015