Я пытаюсь реализовать DevOps на фабрике данных Azure и Azure Databricks.
Я завершил реализацию DevOps для файлов записных книжек ADF DevOps и Databricks.
После развертывания кажется, что есть некоторые проблемы с конвейерами ADF, которые извлекают файлы jar, хранящиеся в месте dbfs.
Один из конвейеров показан ниже. путь к файлу jar: dbfs:/FileStore/jars/xxx............xxx1_0_SNAPSHOT-c073a.jar
После развертывания конвейеров ADF в среде PROD, где он указывает на экземпляр модуля данных PROD, файл jar с таким же именем не будет доступный. Это вызывает сбой конвейера в PROD.
Как получить jar-файлы из местоположения DEV dbfs и развернуть их в местоположении PROD dbfs с тем же именем, чтобы запустить конвейер ADF?
Ниже приведен метод, которым я сейчас следую для реализации DevOps.
- Я создал конвейер сборки, который указывает на репозиторий git и создает файлы jar, выполнив файл pom.xml
- Создан конвейер выпуска, который копирует файлы jar из артефакта сборки в
FileStore/jars/
- Теперь конвейер ADF будет указывать на банку, доступную в
FileStore/jars/
Есть ли альтернативный метод решения этой проблемы или это правильный подход?