HdfsRpcException: не удалось вызвать вызов RPC getFsStats на сервере

Я установил кластер Hadoop с одним узлом на экземпляре EC2. Затем я сохранил некоторые тестовые данные на hdfs и пытаюсь загрузить данные hdfs в SAP Vora. Я использую SAP Vora 2.0 для этого проекта.

Чтобы создать таблицу и загрузить данные в Vora, я запускаю следующий запрос:

drop table if exists dims;
CREATE TABLE dims(teamid int, team string)
USING com.sap.spark.engines.relational 
OPTIONS (
hdfsnamenode "namenode.example.com:50070",
files "/path/to/file.csv",
storagebackend "hdfs");

Когда я запускаю вышеуказанный запрос, я получаю это сообщение об ошибке:

com.sap.vora.jdbc.VoraException: HL(9): Runtime error.
  (could not handle api call, failure reason : execution of scheduler plan failed:
    found error: :-1, CException, Code: 10021 : Runtime category : an std::exception wrapped.
    Next level: v2 HDFS Plugin: Exception at opening
    hdfs://namenode.example.com:50070/path/to/file.csv:
    HdfsRpcException: Failed to invoke RPC call "getFsStats" on server
    "namenode.example.com:50070" for node id 20
    with error code 0, status ERROR_STATUS

Hadoop и Vora работают на разных узлах.


person Cleo    schedule 07.03.2018    source источник


Ответы (1)


Вы должны указать порт Namenode HDFS, который обычно равен 8020. 50700 — это порт WebUI. См., например. Порт Namenode по умолчанию для HDFS — 50070. Но я встречал в некоторых местах 8020 или 9000

person Frank Legler    schedule 07.03.2018