спасибо, что зашли.
Я пытаюсь разработать поток данных сопоставления в рабочем пространстве Azure Synapse (поэтому я считаю, что это также можно применить к ADFv2), который принимает ввод Delta и преобразует его прямо в вывод в формате Parquet, с соответствующими деталями использование набора данных Parquet, указывающего на ADLSGen2 с параметризованной файловой системой и папкой, в отличие от жестко запрограммированной файловой системы и папки, поскольку для этого потребуется создать слишком много наборов данных, поскольку в данных слишком много папок, представляющих интерес. Озеро.
Поток данных сопоставления: 
Когда я пытаюсь использовать его в качестве источника в моих потоках данных сопоставления, конфигурация отладки (а также конфигурация родительского конвейера) должным образом запросит у меня ввод этих параметров, которые я с радостью введу.
Затем, как только я пытаюсь отладить или запустить конвейер, я получаю эту ошибку менее чем за 1 секунду:
{
"Message": "ErrorCode=InvalidTemplate, ErrorMessage=The expression 'body('DataFlowDebugExpressionResolver')?.50_DeltaToParquet_xxxxxxxxx?.ParquetCurrent.directory' is not valid: the string character '_' at position '43' is not expected."
}
RunId: xxx-xxxxxx-xxxxxx
Это сообщение об ошибке не очень специфично, чтобы знать, где мне искать.
Я попытался заменить параметризованный набор данных Parquet на жестко запрограммированный, и он отлично работает как в режимах отладки, так и в режиме конвейерного выполнения. Однако это не дает мне того, что мне нужно, а именно возможности повторно использовать мой набор данных Parquet вместо того, чтобы создавать определенный набор данных для каждой папки Data Lake.
В файловой системе Data Lake также нет пробелов. Пожалуйста, обратитесь к этим параметрам, которые очень похожи на мою производственную среду:
- Файловая система:
prodfs001 - Каталог:
synapse/workspace01/parquet/dim_mydim
Заранее спасибо всем, ребята!
