Работает 1 узел данных, и 1 узел (узлы) исключены из этой операции. (псевдораспределенный режим)

Я работаю с hadoop 2.7, используя java, и у меня есть эта ошибка. Я могу создать файл, но я не могу написать в файле:

Ошибки:

ОШИБКА Файл /test/1.txt может быть реплицирован только на 0 узлов вместо minReplication (=1). Работает 1 узел данных, и 1 узел (узлы) исключены из этой операции.

Я читал об этой ошибке, но мой узел данных не заполнен.

Я работаю с кластером из 1 одного узла, который работает в Linux (ubuntu 18.10). С моего компьютера с Windows (в той же сети) я получаю доступ из java к моему кластеру


java hadoop hdfs datanode namenode
person Carlos Noé    schedule 27.08.2019    source источник
comment
предоставьте минимальный пример воспроизведения   -  person Michael    schedule 27.08.2019
comment
Для меня это похоже на аналогичный вопрос. Hadoop: ...быть реплицировано на 0 узлов вместо minReplication (=1). Работает 1 узел данных, и ни один узел не исключен из этой операции   -  person Romeo Sierra    schedule 28.05.2020

Ответы (1)


arrow_upward
0
arrow_downward

я решил проблему.

было две возможности:

1) Узел данных заполнен. Пожалуйста, проверьте, заполнен ли ваш узел данных --->

я использую эту команду $ dfs -du -h /

Знать дисковое пространство узлов данных в hadoop?

2) Либо второй вариант - не работает датанода. (ваш namenode может работать нормально или нет). (hdfs может позволить вам создавать файлы, но не записывать в них, если namenode работает, а datnode не работает.) (если datanode и namenode не работают, вы не можете создавать или записывать файлы). вы можете проверить свое подключение к узлу данных в файле core-site.xml.

старая---------------:

    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

    <configuration>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://0.0.0.0:8020</value>
            <description>Nombre del filesystem por defecto.</description>
        </property>
    </configuration>

обновленный ---------------:

    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

    <configuration>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://ip_where_you_are_dating:8020</value>
            <description>Nombre del filesystem por defecto.</description>
        </property>
    </configuration>

второй вариант:

Я пытаюсь записать массив байтов в файл, но не могу. (Я могу создать этот файл в файловой системе, и соединение работает). Будем признательны за любую помощь

person Carlos Noé    schedule 27.08.2019
comment
Я столкнулся с той же проблемой. Я могу копировать небольшие файлы, но при размещении большого файла в HDFS возникает вышеуказанная ошибка. Я проверил пространство, и узел данных не заполнен. - person Ayaz49; 23.03.2020