Как запустить модуль планировщика воздушного потока для Google Cloud Composer?

Кластер Composer вышел из строя, потому что его подам Airflow-worker требовался образ Docker, который был недоступен.

Теперь доступ к образу Docker был восстановлен, но модуль airflow-scheduler исчез.

Я попытался обновить среду Composer, установив новую переменную среды, со следующей ошибкой:

UPDATE operation on this environment failed X minutes ago with the following error message: (404)
Reason: Not Found
HTTP response headers: HTTPHeaderDict({
  "Date": "recently",
  "Audit-Id": "my-own-audit-id",
  "Content-Length": "236",
  "Content-Type": "application/json",
  "Cache-Control": "no-cache, private"
})
HTTP response body: {
  "kind": "Status",
  "apiVersion": "v1",
  "metadata": {},
  "status": "Failure",
  "message": "deployments.apps \"airflow-scheduler\" not found",
  "reason": "NotFound",
  "details": {
    "name": "airflow-scheduler",
    "group": "apps",
    "kind": "deployments"
  },
  "code": 404
}

Error in Composer Agent

Как я могу запустить модуль планировщика воздушного потока в моем кластере Composer?

Какой .yaml файл конфигурации мне нужно применить?

Я попытался запустить планировщик из другого модуля с помощью airflow scheduler, и хотя он фактически запускает планировщик, это не модуль Kubernetes, и он не будет хорошо интегрироваться с управляемым кластером воздушного потока.


google-cloud-platform google-kubernetes-engine airflow google-cloud-composer
person vdolez    schedule 19.01.2021    source источник

Ответы (1)


arrow_upward
-1
arrow_downward

Чтобы перезапустить планировщик воздушного потока, запустите следующее

# Fetch the old deployment, and pipe it into the replace command.
COMPOSER_WORKSPACE=$(kubectl get namespace | egrep -i 'composer|airflow' | awk '{ print $1 }')
kubectl get deployment airflow-scheduler --output yaml \
    --namespace=${COMPOSER_WORKSPACE}| kubectl replace --force -f -
person Ismail    schedule 20.01.2021
comment
Дело в том, что модуль был удален, и я не могу получить существующий файл приложения. - person vdolez; 21.01.2021
comment
@vdolez Действует ли в настоящее время модуль планировщика воздушного потока среды Composer? - person Ismail; 21.01.2021
comment
Вы можете предположить, что это не так. Мне удалось использовать и изменить другой файл приложения для Kubernetes, чтобы запустить его из другой аналогичной среды Composer, но я боюсь, что между используемыми версиями / подключениями кластера могут быть некоторые различия. - person vdolez; 21.01.2021
comment
@vdolez Понятно. К сожалению, нет стандартного файла приложения Kubernetes для запуска модуля планировщика воздушного потока. Инфраструктура Composer как самоуправляемый продукт не требует настройки. - person Ismail; 21.01.2021
comment
Разве не существует Kubernetes Executor для Airflow, которому требуется такое приложение Pod yaml? - person vdolez; 22.01.2021