Перенос данных из Vertica в Redshift с помощью Apache Nifi

Я хочу перенести данные из вертика в красное смещение с помощью apache nifi. какие процессоры и конфигурацию мне нужно настроить?


person user2664210    schedule 09.05.2017    source источник


Ответы (1)


Если Vertica и Redshift имеют драйверы JDBC с «хорошим поведением», вы можете настроить DBCPConnectionPool для каждого, затем процессор SQL, например ExecuteSQL, QueryDatabaseTable или GenerateTableFetch (последний из которых генерирует SQL для использования в ExecuteSQL). Они переведут ваши записи в формат Avro, а затем (до NiFi 1.2.0) вы можете использовать ConvertAvroToJSON -> ConvertJSONToSQL -> PutSQL, чтобы ваши записи были вставлены в Redshift.

В NiFi 1.2.0 вы можете настроить AvroReader для использования в PutDatabaseRecord. Тогда вам понадобится только процессор SQL, чтобы вывести записи из Vertica непосредственно в PutDatabaseRecord, чтобы поместить их в Redshift.

person mattyb    schedule 09.05.2017
comment
Кто-нибудь пробовал это еще? Может ли PutSQL сгенерировать пакетную вставку 10000 строк, если мы хотим вставить миллион строк? - person halil; 26.10.2017
comment
ссылки в ответе мертвы - информацию можно найти здесь: nifi.apache.org/docs.html - person shakedzy; 07.01.2018
comment
Теперь вы можете заменить ConvertAvroToJSON - ›ConvertJSONToSQL -› PutSQL на PutDatabaseRecord, вы должны увидеть гораздо лучшую производительность, чем вышеупомянутый поток. - person mattyb; 26.03.2019