Проблема совместимости между Hbase 0.94.2 и зависимостью apache nutch

Я пытаюсь установить apache nutch 2.2.1 и успешно построил его после внесения необходимых изменений в файлы конфигурации, следуя http://www.blogjava.net/paulwong/archive/2013/08/31/403513.html учебное пособие. Но даже после его создания я не могу ничего сканировать, и после нескольких часов проверки я понял, что версия hbase в кластере моей компании - Hbase- 0.94.2, тогда как установочная зависимость для apache nutch 2.2.1 - HBase 0.90.4. Поскольку hbase-0.90.4.jar несовместим с Hbase-0.94.2, я получаю следующую ошибку, когда пытаюсь ввести URL-адрес в Nutch. Пожалуйста, помогите мне изменить зависимость Apache Nutch или исправить ошибку.

Я публикую ошибку ниже.

Вызвано: java.lang.RuntimeException: java.lang.IllegalArgumentException: Не хост: пара портов: �-11562 @ bt13acl1node26.comp.com� $ 3�¿½bt13acl1node26.comp.com, 60000,1401268790838 at org.apache.gora.hbase.store.HBaseStore.initialize (HBaseStore.java:127) в org.apache.gora.store.DataStoreFactory.initializeDataStore (DataStoreFactory.java:102) в org.apacheactory.tore.store. createDataStore (DataStoreFactory.java:161) ... еще 12

Вызвано: java.lang.IllegalArgumentException: Не хост: пара портов: �-11562 @ bt13acl1node26.comp.com� $ 3�¿½bt13acl1node26.comp.com, 60000,1401268790838 на org.apache.hadoop. hbase.HServerAddress. (HServerAddress.java:60) по адресу org.apache.hadoop.hbase.MasterAddressTracker.getMasterAddress (MasterAddressTracker.java:63) по адресу org.apache.hadoop.hbase.client.HConnectionManmentation HConnectionManager (HConnectionManager $ HConnectionManager). : 354) at org.apache.hadoop.hbase.client.HBaseAdmin. (HBaseAdmin.java:94) at org.apache.gora.hbase.store.HBaseStore.initialize (HBaseStore.java:109) ... Еще 14


hadoop apache hbase nutch
person Amitabh Ranjan    schedule 02.06.2014    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Вы установили Apache Nutch 2.2.1, он использует Apache Gora 0.3, который поддерживает только старый Apache HBase 0.90.x, как указано в официальные документы.

В любом случае вы все равно можете использовать Nutch 2.2.x, используя следующий обходной путь:

  1. Клонируйте, настраивайте и соберите свежий Nutch из официальной ветки Git 2.x как он перешел на Gora 0.4, который совместим с Apache HBase 0.94.x.

  2. Клонируйте и соберите мою версию Apache HBase 0.94.24-hadoop -2.5.0, чтобы использовать его с последней версией Apache Hadoop 2.5.0.

Аналогичная проблема была создана для проекта Apache Gora 0.3. В ближайшее время они не планируют обновлять зависимость Apache HBase до новой версии.

Вы также можете прочитать документацию по совместимости для Apache HBase, чтобы узнать, как создать собственную версию для любой выпуск Hadoop.

Apache Nutch был протестирован и хорошо работает со следующим стеком:

  • Apache Nutch из ветки git 2.x, использующей Gora 0.4;
  • Apache Hbase 0.94.24-hadoop-2.5.0;
  • Apache Hadoop 2.5.0.
person Viacheslav Dobromyslov    schedule 14.09.2014
comment
эта версия полностью объясняет причину исходной проблемы. - person Viacheslav Dobromyslov; 14.09.2014