Мне нужно загрузить данные из sybase (производственная база данных) в HDFS. При использовании sqoop это занимает очень много времени и часто попадает в производственную базу данных. Итак, я думаю создать файлы данных из дампа sybase, а затем скопировать файлы данных в hdfs. Есть ли какой-либо инструмент (с открытым исходным кодом) для создания необходимых файлов данных (плоских файлов) из дампа sybase.
Спасибо,
Утилита командной строки iq_bcp предназначена для того, чтобы делать это отдельно для каждой таблицы. Вам просто нужно создать список таблиц, и вы можете перебирать список.
iq_bcp [ [ имя_базы_данных. ] владелец. ] имя_таблицы { в | выход } файл данных
iq_bcp MyDB..MyTable out MyTable.csv -c -t#$#
-c задает символьный (открытый текст) вывод -t позволяет настроить разделитель столбцов. Вы захотите использовать символ или серию символов, которые не появляются в вашем extact, например. если у вас есть текстовый столбец, содержащий текст с запятой, CSV будет сложно импортировать без дополнительной работы.
