GCP Data Fusion переносит множественные числа из хранилища Azure в хранилище Google

Я пытаюсь перенести несколько файлов (.csv) в каталог из контейнера хранилища Azure в хранилище Google (как файлы .txt) посредством слияния данных. Из слияния данных я могу успешно передать один файл и преобразовать его в файл .txt как часть GCS Sink.

Но когда я пытаюсь перенести все файлы .csv из контейнера azure в GCS, он объединяет все данные файлов .csv и генерирует один файл .txt в GCS.

Может ли кто-нибудь помочь в том, как передавать каждый файл отдельно и конвертировать его в txt на стороне Sink?


google-cloud-platform google-cloud-dataflow azure-blob-storage data-pipeline google-cloud-data-fusion
person Srini V    schedule 28.04.2021    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Вы видите ожидаемое поведение при использовании приемника GCS.

Вам понадобится подключаемый модуль action для копирования из Azure в GCS или, в более общем смысле, HCFS в плагин действия копирования GCS. К сожалению, такого плагина еще не существует. Вы можете написать его, используя https://github.com/data-integrations/example-action в качестве отправной точки.

person user3126412    schedule 29.04.2021
comment
Спасибо за ваш вклад. Не могли бы вы сообщить мне, может ли поток данных GCP помочь в выполнении моих требований? Спасибо - person Srini V; 01.05.2021
comment
Не уверен в потоке данных, но если вы ищете другие способы передачи данных из Azure в GCS, взгляните на stackoverflow.com/questions/41157327/. - person user3126412; 14.05.2021