Перенос существующих метаданных из хранилища метаданных (derby) и данных из Hive 1.2 в Hive 2.4.3

Я недавно развернул Hive 2.4.3, однако в более старой версии Hive 1.2 существует несколько таблиц с разделами, я использую Derby в качестве хранилища метаданных.

Как лучше всего перенести их на новую установку Hive?


person Kedar S. Dixit    schedule 17.06.2019    source источник


Ответы (1)


Создайте внешние таблицы в новом улье и используйте эту команду для создания метаданных разделов.

MSCK [REPAIR] TABLE tablename;

Эквивалентная команда в версии Hive для Amazon Elastic MapReduce (EMR):

ALTER TABLE tablename RECOVER PARTITIONS;

Это добавит метаданные разделов Hive. См. руководство по обеим командам здесь: ВОССТАНОВЛЕНИЕ РАЗДЕЛОВ

person leftjoin    schedule 17.06.2019
comment
Есть много таблиц, и мы не можем продолжать их создавать, есть ли возможность использовать какой-либо инструмент для дампа derby для Hive 1.2 и загрузки того же дампа в Hive 2.4? - person Kedar S. Dixit; 17.06.2019