Apache Drill не может прочитать файлы из HDFS (ошибка ресурса: не удалось создать дерево схемы)

После настройки детализации на одном из граничных узлов нашего кластера HDFS я не могу прочитать файлы hdfs. Я могу запрашивать данные из локальных файлов (если они находятся в папке с разрешениями 777), но запрос данных из hdfs завершается со следующей ошибкой:

Ошибка: ОШИБКА РЕСУРСА: не удалось создать дерево схемы.

[Идентификатор ошибки: d9f7908c-6c3b-49c0-a11e-71c004d27f46 на имени сервера: 31010] (состояние =, код = 0)

Запрос:

0: jdbc:drill:zk=local> select * from hdfs.`/names/city.parquet` limit 2;

Запрос из локального файла работает нормально:

0: jdbc:drill:zk=local> select * from dfs.`/tmp/city.parquet` limit 2;

Мои настройки HDFS аналогичны настройкам DFS, за исключением того, что URL-адрес подключения является адресом сервера, а не файл:///

Я не могу найти ничего в Интернете об этой ошибке для сверла.


hadoop apache-drill
person user171943    schedule 23.08.2017    source источник
comment
Видите ли вы что-нибудь информативное в каротажных диаграммах буровых долот? Вы можете включить ведение журнала на уровне DEBUG, используя $DRILL_CONF/logback.xml. Также у вас включено олицетворение и аутентификация? Пожалуйста, включите ваш Drill-override.conf и определение подключаемого модуля хранилища.   -  person InfamousCoconut    schedule 12.09.2017

Ответы (2)


arrow_upward
1
arrow_downward

«..на одном из краевых узлов..»

Буровые биты также предназначены для работы на ваших узлах данных вашего кластера Hadoop, а не только на граничных узлах. Это поможет для локальности данных.

Теперь, что касается ошибки, которую вы видите, похоже, что одно из ваших сверл не работает или у вашего узла мастера (того, к которому вы подключены) возникают проблемы с подключением к другим узлам.

Кроме того, будет полезно, если вы предоставите больше информации, например, сколько буровых долот находится в вашем кластере.

Хорошей отправной точкой должно быть, чтобы проверить:

select * from sys.drillbits;

Это скажет вам, какие узлы вверх/вниз.

person Aditya Allamraju    schedule 24.08.2017
comment
Я запускаю Drill во встроенном режиме, поэтому я установил его только на один из узлов. Выполнение этого запроса также возвращает ту же ошибку: Ошибка: ОШИБКА РЕСУРСА: Не удалось создать дерево схемы. - person user171943; 24.08.2017

arrow_upward
0
arrow_downward

В вашем каталоге conf Apache Drill вам нужно добавить следующие строки в ваш файл Drill-override.conf

drill.exec: {
cluster-id: "drillbits1",
zk.connect: "localhost:2181",
sys.store.provider.local.path="/mypath"
}

Здесь вместо «/mypath» вам нужно указать путь к вашей системе, где Drill будет сохранять плагины хранилища.

https://community.mapr.com/thread/20905-re-help-with-error-resource-error-failed-to-create-schema-tree Вы можете проверить приведенную выше ссылку.

person Yayati Sule    schedule 11.09.2017