Я пытаюсь запустить свой Airflow DAG в Cloud Composer от Google (composer-1.16.4-airflow-1.10.15). Задачи не могут быть выполнены, потому что Composer не может получить доступ к файлам журнала. Я получаю следующую ошибку:
*** Unable to read remote log from gs://europe-west1-XXXXXXXXXXXXXXXX-bucket/logs/main_jira_dag/get_project_tasks_TBA/2021-05-19T08:02:32.739900+00:00/1.log
*** 'NoneType' object has no attribute 'download'
*** Log file does not exist: /home/airflow/gcs/logs/main_jira_dag/get_project_tasks_TBA/2021-05-19T08:02:32.739900+00:00/1.log
*** Fetching from: http://airflow-worker-YYYYYYYYYYYY:<port>/log/main_jira_dag/get_project_tasks_TBA/2021-05-19T08:02:32.739900+00:00/1.log
*** Failed to fetch log file from worker. HTTPConnectionPool(host='airflow-worker-YYYYYYYYYYYY', port=<port>): Max retries exceeded with url: /log/main_jira_dag/get_project_tasks_TBA/2021-05-19T08:02:32.739900+00:00/1.log (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f6343208eb8>: Failed to establish a new connection: [Errno -2] Name or service not known',))
Я попытался добавить новые разрешения к учетной записи службы по умолчанию (как описано в этом ответе), но мне это не удалось. Учетная запись службы по умолчанию теперь имеет следующие разрешения: Администратор среды и объекта хранения, Пользователь среды и средство просмотра объектов хранения, Редактор.
Что мне делать, чтобы позволить Composer читать удаленные файлы журналов?
