Улей не может загрузить файл в таблицу, потому что не может найти его на складе улья

Я не могу загрузить данные в таблицу кустов, и журналы показывают эту проблему

Файл, который я хочу загрузить:

> [hdfs@vmi200937 root]$ hdfs dfs -ls /suppression-files Found 1 items
> -rw-rw-rw-   3 hdfs hdfs  694218562 2018-12-21 05:06 /suppression-files/md5.txt

Каталог улья:

> [hdfs@vmi200937 root]$ hdfs dfs -ls
> /apps/hive/warehouse/suppression.db Found 1 items drwxrwxrwx   - hive
> hadoop          0 2018-12-21 06:30
> /apps/hive/warehouse/suppression.db/md5supp

Вот запрос улья:

> hive (suppression)> LOAD DATA INPATH '/suppression-files/md5.txt' INTO
> TABLE md5supp;

Журналы:

Загрузка данных в таблицу suppression.md5supp Ошибка с исключением java.io.FileNotFoundException: каталог / файл не существует /apps/hive/warehouse/suppression.db/md5supp/md5.txt в org.apache.hadoop.hdfs.server.namenode .FSDirectory.checkOwner (FSDirectory.java:1901) на org.apache.hadoop.hdfs.server.namenode.FSDirAttrOp.setOwner (FSDirAttrOp.java:82) на org.apache.hadoop.hdfs.server.name.node.FSNames (FSNamesystem.java:1877) по адресу org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.setOwner (NameNodeRpcServer.java:828) в org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerServerServerServerServerServerServerServerServerServerServerServerServerServerServer (имя_клиента) ) на org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod (ClientNamenodeProtocolProtos.java) на org.apache.hadoop.ipc.ProtobufRpcEngine $ Server $ ProtoBokUFRpcEngine $ Server $ ProtoBok6ng. .apache.hadoop. ipc.RPC $ Server.call (RPC.java:982) на org.apache.hadoop.ipc.Server $ Handler $ 1.run (Server.java:2351) на org.apache.hadoop.ipc.Server $ Handler $ 1. запустить (Server.java:2347) в java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java:422) в org.apache.hadoop.security.UserGroupInformation.doAs ( UserGroupInformation.java:1869) на org.apache.hadoop.ipc.Server $ Handler.run (Server.java:2347)

СБОЙ: ошибка выполнения, код возврата 40000 из org.apache.hadoop.hive.ql.exec.MoveTask. java.io.FileNotFoundException: каталог / файл не существует /apps/hive/warehouse/suppression.db/md5supp/md5.txt в org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkOwner (FSDirectory.java:1901 ) на org.apache.hadoop.hdfs.server.namenode.FSDirAttrOp.setOwner (FSDirAttrOp.java:82) на org.apache.hadoop.hdfs.server.namenode.FSNamesystem.setOwner (FSNamesystem.java:1877) в org. apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.setOwner (NameNodeRpcServer.java:828) в org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.NameNodeProtocolServerServerSideTranslatorPB.setOwnerDF. protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod (ClientNamenodeProtocolProtos.java) в org.apache.hadoop.ipc.ProtobufRpcEngine $ Server $ ProtoBufRpcInvoker.call (Protongine.hadoop.RpcInvoker.call (Protobine.hadoc). .call (RPC.java:982) на org.apache.hadoop.ipc.Serv er $ Handler $ 1.run (Server.java:2351) в org.apache.hadoop.ipc.Server $ Handler $ 1.run (Server.java:2347) в java.security.AccessController.doPrivileged (собственный метод) в javax. security.auth.Subject.doAs (Subject.java:422) в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1869) в org.apache.hadoop.ipc.Server $ Handler.run (Server. java: 2347)


person mohammad almechkor    schedule 21.12.2018    source источник


Ответы (1)


Я нашел решение! Я просто должен установить владельца каталога / файла подавления в hive: hdfs by hdfs dfs chown -R hive: hdfs / suppression-file

person mohammad almechkor    schedule 21.12.2018