Я пытаюсь загрузить несколько файлов CSV из озера данных Azure в Azure Synapse с помощью Polybase. В каждом CSV-файле есть фиксированный набор столбцов, и имена столбцов указаны в первой строке. Однако столбцы могут располагаться в разной последовательности.
В Polybase мне нужно объявить внешнюю таблицу, в которой мне нужно знать точную последовательность столбцов во время разработки, и, следовательно, я не могу создать внешнюю таблицу. Есть ли другие способы загрузить файл CSV?
Я не верю, что вы можете сделать это напрямую с помощью Polybase, потому что, как вы заметили, для оператора CREATE EXTERNAL TABLE требуются объявления столбцов. Затем во время выполнения данные CSV сопоставляются с именами этих столбцов.
Вы можете легко сделать это с помощью фабрики данных и потока данных Azure (которая использует Polybase для перемещения данных в Synapse), разрешив потоку данных создать таблицу. Это работает, потому что таблица создается после того, как данные были прочитаны, а не до того, как с EXTERNAL.
Для набора данных приемника создайте его с параметризованным именем таблицы [и, возможно, схемой]: 
В действии Sink укажите «Recreate table»: 
Передайте желаемое имя таблицы в набор данных приемника из конвейера: 
Имейте в виду, что все столбцы на основе строк будут определены как VARCHAR (MAX).
