Каталог конверсионных свиней типа

Я использую HCatalog версии 0.4. У меня есть таблица в улье «abc», в которой есть столбец с типом данных «отметка времени». Когда я пытаюсь запустить скрипт свиньи, подобный этому, "raw_data = load 'abc' с помощью org.apache.hcatalog.pig.HCatLoader();" я получаю сообщение об ошибке «java.lang.TypeNotPresentException: временная метка типа отсутствует».


hive hcatalog apache-pig
person kris433    schedule 20.02.2014    source источник

Ответы (3)


arrow_upward
4
arrow_downward

Проблема в том, что hcatalog не поддерживает тип timestamp. Он будет поддерживаться в hive 0.13, у них есть проблема с этой проблемой, которая уже решена, вы можете увидеть проблему в https://issues.apache.org/jira/browse/HIVE-5814

person noam    schedule 05.03.2014

arrow_upward
1
arrow_downward

Если вы используете Hive-Hcatalog 0.13.0, проверьте путь к HCatLoader, вы должны использовать org.apache.hive.hcatalog.pig.HCatLoader() вместо org.apache.hcatalog.pig.HCatLoader()

person Doroshenko    schedule 29.01.2015

arrow_upward
0
arrow_downward

Hive 0.13 имеет тип данных Timestamp. Но при использовании HCatLoader будет потеря данных.

Но Hive -> Pig будет использовать HCat Loader, наносекунды будут потеряны из метки времени.

Свинья -> Улей с использованием HCat Storer. Переводит на основе метки времени с использованием миллисекунд.

Ссылка:

https://cwiki.apache.org/confluence/display/Hive/HCatalog+LoadStore#HCatalogLoadStore-TypesinHive0.13.0andLater.1

person Mahalakshmi Lakshminarayanan    schedule 17.01.2015