Реализация DevOps для файлов DBFS DataBricks

Я пытаюсь реализовать DevOps на фабрике данных Azure и Azure Databricks.

Я завершил реализацию DevOps для файлов записных книжек ADF DevOps и Databricks.

После развертывания кажется, что есть некоторые проблемы с конвейерами ADF, которые извлекают файлы jar, хранящиеся в месте dbfs.

Один из конвейеров показан ниже. введите здесь описание изображения путь к файлу jar: dbfs:/FileStore/jars/xxx............xxx1_0_SNAPSHOT-c073a.jar После развертывания конвейеров ADF в среде PROD, где он указывает на экземпляр модуля данных PROD, файл jar с таким же именем не будет доступный. Это вызывает сбой конвейера в PROD.

Как получить jar-файлы из местоположения DEV dbfs и развернуть их в местоположении PROD dbfs с тем же именем, чтобы запустить конвейер ADF?

Ниже приведен метод, которым я сейчас следую для реализации DevOps.

  1. Я создал конвейер сборки, который указывает на репозиторий git и создает файлы jar, выполнив файл pom.xml
  2. Создан конвейер выпуска, который копирует файлы jar из артефакта сборки в FileStore/jars/
  3. Теперь конвейер ADF будет указывать на банку, доступную в FileStore/jars/

Есть ли альтернативный метод решения этой проблемы или это правильный подход?


person Antony    schedule 24.11.2020    source источник


Ответы (1)


Как развернуть Azure Databricks и файл JAR прямо сейчас?
Для развертывания Databricks можно использовать azure.databricks.cicd.tools
Для развертывания ADF вы можете использовать один из следующих инструментов: ADFTools
Извините за короткий ответ, но я надеюсь, что он приведет вас в правильном направлении.

person Kamil Nowinski    schedule 25.11.2020