HDFS: удаление каталога узлов данных только для одного узла

У нас есть кластер Hadoop (HDP 3.1.4 с Ambari 2.7), содержащий 3 узла данных: data1, data2, data3 со следующими дисками HDFS и точками монтирования:

  • данные хоста [1-2]

    • /dev/sdb -> /mnt/datadisk1
    • / dev / sdc -> / mnt / datadisk2
    • / dev / sdd -> / mnt / datadisk3

  • данные хоста3

    • /dev/sdb -> /mnt/datadisk1
    • / dev / sdc -> / mnt / datadisk2

Во время настройки кластера мы устанавливаем dfs.datanode.data.dir в значение /mnt/datadisk1,/mnt/datadisk2,/mnt/datadisk3. Теперь мы увидели, что наш корневой раздел (/) на узле data3 заполнен, потому что точка монтирования / mnt / datadisk3 не существует, и поэтому данные (HDFS) хранятся в корневом разделе, а не игнорируются.

Есть ли способ каким-то образом удалить этот неправильный путь (data3 : /mnt/datadisk3), не редактируя файлы конфигурации непосредственно в ОС (мы хотим использовать Ambari)?


hadoop hdfs hortonworks-data-platform hdp ambari
person D. Müller    schedule 07.04.2020    source источник

Ответы (1)


arrow_upward
0
arrow_downward

@ D.Muller, вы должны иметь возможность редактировать пути в амбари. Во время установки ambari попытается добавить несколько путей в список каталогов. Ваши пути должны быть согласованными на всех узлах. Скорее всего, здесь что-то запуталось, когда путь отсутствовал на одном узле. Если вы войдете в систему Ambari и удалите несуществующий диск, вы сможете решить эту проблему.

person steven-matison    schedule 20.04.2020