Потоки данных ADF не завершаются в режиме отладки

Я создаю конвейеры на фабрике данных Azure, используя действие Mapping Data Flow (Azure SQL DB to Synapse). Конвейеры завершаются в режиме отладки, когда я включаю выборку данных для источников. Когда я отключаю выборку данных и запускаю отладку, я не продвигаюсь в конвейере. т.е. ни одно из преобразований не завершено (желтая точка)

Чтобы улучшить это, следует ли мне увеличить размер пакета из источника / приемника (как определить размер пакета), увеличить количество разделов (как определить хорошее количество разделов)


azure azure-data-factory azure-sqldw azure-data-flow
person hamela777    schedule 31.03.2020    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Каков размер вычислительного кластера Spark, который вы установили в среде выполнения интеграции Azure в свойствах потока данных. Начните с этого с создания Azure IR с достаточным количеством ядер, чтобы предоставить оперативную память для вашего процесса. Затем вы можете настроить разделы и размеры пакетов. Большая часть уроков в этой области представлена ​​здесь, на Руководство по эффективности потока данных ADF.

person Mark Kromer MSFT    schedule 31.03.2020
comment
Спасибо, Марк. Ошибка, которую я вижу в своих потоках данных, заключается в том, что транзакция прерывается / откатывается с сообщением о том, что «Время ожидания операции истекло», что вызвало «Истекло время ожидания выполнения». Мои потоки данных относительно просты (2 источника базы данных Azure SQL, незначительные преобразования, объединение обоих источников, а затем погружение в Synapse), поэтому тайм-аут для меня не имеет смысла. Я пробовал различные размеры вычислительного кластера (от 8 до 80 ядер) - person hamela777; 09.04.2020
comment
Это похоже на ошибку, исходящую от DW / Synapse при записи данных. Вы проверили свою базу данных? - person Mark Kromer MSFT; 09.04.2020
comment
Я думал, что, хотя конвейер работает для небольших объемов данных (‹10k строк), но не работает для полных наборов данных (от 100k до 100M строк). Может быть, мне нужно увеличить либо мою базу данных SQL, либо Synapse до более высокого уровня производительности, а может быть и то, и другое? - person hamela777; 11.04.2020