Я установил микросервер Druid на локальной машине. Я хочу использовать HDFS как глубокое хранилище друидов. Я использовал следующие Druid Docs, [druid-hdfs-storage] полный путь глубокого хранилища вызывает исключения и imply-druid docs как ссылки.
Я внес следующие изменения в /apache-druid-0.16.0-incubating/conf/druid/single-server/micro-quickstart/_common/common.runtime.properties
druid.extensions.loadList=["druid-hdfs-storage", "druid-kafka-indexing-service", "druid-datasketches"]
#
# Deep storage
#
# For local disk (only viable in a cluster if this is a network mount):
#druid.storage.type=local
#druid.storage.storageDirectory=var/druid/segments
# For HDFS:
druid.storage.type=hdfs
druid.storage.storageDirectory=hdfs://mycluster:8020/druid/segments
#
# Indexing service logs
#
# For local disk (only viable in a cluster if this is a network mount):
#druid.indexer.logs.type=file
#druid.indexer.logs.directory=var/druid/indexing-logs
# For HDFS:
druid.indexer.logs.type=hdfs
druid.indexer.logs.directory=hdfs://mycluster:8020/druid/indexing-logs
Я также пробовал druid.storage.storageDirectory = hdfs: // mycluster: 9000 / druid /
Но проблема в том, что источник данных, похоже, работает нормально, и в журналах тоже нет ошибок / проблем, но Я не могу видеть сегменты на hdfs. Я ждал несколько часов (~ около 5 часов), пока данные будут сохранены.
Кроме того, я разместил XML-файлы конфигурации Hadoop (core-site.xml, hdfs-site.xml, yarn-site.xml, mapred-site.xml) в пути к классам моего узла Druid. Я скопировал их в /apache-druid-0.16.0-incubating/conf/druid/single-server/micro-quickstart/_common/
Версия Hadoop - 2.7.3, а версия druid - 0.16.0.
