Pig Hcatalog не удалось прочитать данные из таблицы улья

grunt> table_load = load ‘test_table_one’ USING org.apache.hive.hcatalog.pig.HCatLoader();
grunt> dump table_load;

2016-10-05 17:25:43,798 [основная] ИНФОРМАЦИЯ org.apache.hadoop.conf.Configuration.deprecation — fs.default.name устарело. Вместо этого используйте fs.defaultFS. ] ИНФОРМАЦИЯ hive.metastore — открыто соединение с хранилищем метаданных, текущие соединения: 1 2016-10-05 17:25:43,934 [main] ИНФОРМАЦИЯ hive.metastore — соединение с хранилищем метаданных. … 2016-10-05 17:25:58,707 [основная] ИНФОРМАЦИЯ org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher – HadoopJobId: job_1475669003352_0017 2016-10-05 17:25:58,707 [основная] ИНФОРМАЦИЯ орг. apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher — обработка псевдонимов table_load 2016-10-05 17:25:58,707 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher — подробные местоположения: M: table_load[7,13] C: R: 2016-10-05 17:25:58,716 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher — завершено 0% 2016-10-05 17:25:58,716 [основная] ИНФОРМАЦИЯ org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher – Запущенные задания [job_1475669003352_0017] 2016-10-05 17:26:13,753 [основная] WARN org.apache.pig .backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher — Упс! Какая-то работа не удалась! Укажите -stop_on_failure, если вы хотите, чтобы Pig немедленно останавливался в случае сбоя. 2016-10-05 17:26:13,753 [основная] ИНФОРМАЦИЯ org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher — задание job_1475669003352_0017 не выполнено! Остановить выполнение всех зависимых заданий 05.10.2016 17:26:13,753 [основная] ИНФОРМАЦИЯ org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher — завершено на 100 % 05-10-2016 17:26:13,882 [основная ] ОШИБКА org.apache.pig.tools.pigstats.mapreduce.MRPigStatsUtil — 1 задание(я) уменьшения карты не выполнено! 2016-10-05 17:26:13,883 [основная] ИНФОРМАЦИЯ org.apache.pig.tools.pigstats.mapreduce.SimplePigStats — Статистика скрипта:

HadoopVersion PigVersion UserId StartedAt FinishedAt Features 2.6.0 0.15.0 hadoop 2016-10-05 17:25:57 2016-10-05 17:26:13 НЕИЗВЕСТНО

Не удалось!

Неудачные задания: JobId Псевдоним Функция Сообщение Выходные данные job_1475669003352_0017 table_load MAP_ONLY Сообщение: Ошибка задания! hdfs://mycluster/tmp/temp81690062/tmp2002161033,

Входные данные: не удалось прочитать данные из «test_table_one»

Выходные данные: не удалось получить результат в «hdfs://mycluster/tmp/temp81690062/tmp2002161033».

Счетчики: Всего записано записей: 0 Всего записано байтов: 0 Счетчик сбросов диспетчера оперативной памяти: 0 Всего упреждающе удаленных пакетов: 0 Всего упреждающе удаленных записей: 0

DAG задания: job_1475669003352_0017

2016-10-05 17:26:13,883 [основная] ИНФОРМАЦИЯ org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher — Ошибка! 2016-10-05 17:26:13,889 [основная] ОШИБКА org.apache.pig.tools.grunt.Grunt — ОШИБКА 1066: невозможно открыть итератор для псевдонима table_load Подробности в файле журнала: /home/hadoop/pig_1475674706670.log

Можете ли вы помочь мне найти, почему это происходит со мной.?


person onlyvinish    schedule 05.10.2016    source источник
comment
попробуй эту хрюшку -useHCatalog   -  person Arunakiran Nulu    schedule 05.10.2016
comment
Похоже, проблема с доступом. Можете ли вы проверить журналы неудачных задач в диспетчере ресурсов Yarn.   -  person vgunnu    schedule 06.10.2016
comment
Grunt был запущен с помощью pig -useHCatalog @ArunakiranNulu   -  person onlyvinish    schedule 06.10.2016
comment
Спасибо, ваш ответ дал мне возможность исправить эту проблему @vgunnu   -  person onlyvinish    schedule 06.10.2016
comment
@onlyvinish Если вы нашли ответ и считаете, что он актуален для будущих читателей, обобщите свое решение и опубликуйте его как ответ, чтобы помочь другим посетителям. Если вы считаете, что это неактуально, пожалуйста, удалите вопрос, чтобы сохранить сайт в чистоте.   -  person Dennis Jaheruddin    schedule 26.10.2016


Ответы (2)


Либо используйте pig -useHCatalog, либо используйте pig и ЗАРЕГИСТРИРУЙТЕ поддерживающие JARS для HCAT для работы с grunt.

Вы можете найти необходимые jar-файлы, которые были опубликованы в HDFS, когда вы используете pig -useHCatalog.

person onlyvinish    schedule 09.12.2016

grunt> table_load = load ‘test_table_one’ USING org.apache.hive.hcatalog.pig.HCatLoader();
grunt> dump table_load;

Это может быть причиной того, что вы не создали таблицу Hive с точным именем. Проверьте таблицу куста и схему на то же самое. Перед использованием Hcatlog мы должны создать схему таблицы поверх места, откуда мы загружаем данные. ИСПОЛЬЗУЙТЕ любое имя очереди, если требуется. Перед выполнением проверьте таблицу в улье.

Надеюсь, это поможет. Пытаться

person Satheesh    schedule 19.01.2017