Я хочу перенести данные из вертика в красное смещение с помощью apache nifi. какие процессоры и конфигурацию мне нужно настроить?
Перенос данных из Vertica в Redshift с помощью Apache Nifi
Ответы (1)
Если Vertica и Redshift имеют драйверы JDBC с «хорошим поведением», вы можете настроить DBCPConnectionPool для каждого, затем процессор SQL, например ExecuteSQL, QueryDatabaseTable или GenerateTableFetch (последний из которых генерирует SQL для использования в ExecuteSQL). Они переведут ваши записи в формат Avro, а затем (до NiFi 1.2.0) вы можете использовать ConvertAvroToJSON -> ConvertJSONToSQL -> PutSQL, чтобы ваши записи были вставлены в Redshift.
В NiFi 1.2.0 вы можете настроить AvroReader для использования в PutDatabaseRecord. Тогда вам понадобится только процессор SQL, чтобы вывести записи из Vertica непосредственно в PutDatabaseRecord, чтобы поместить их в Redshift.
person
mattyb
schedule
09.05.2017
Кто-нибудь пробовал это еще? Может ли PutSQL сгенерировать пакетную вставку 10000 строк, если мы хотим вставить миллион строк?
- person halil; 26.10.2017
ссылки в ответе мертвы - информацию можно найти здесь: nifi.apache.org/docs.html а>
- person shakedzy; 07.01.2018
Теперь вы можете заменить ConvertAvroToJSON - ›ConvertJSONToSQL -› PutSQL на PutDatabaseRecord, вы должны увидеть гораздо лучшую производительность, чем вышеупомянутый поток.
- person mattyb; 26.03.2019