Вопросы по теме 'google-cloud-composer'
как установить dask на google composer
Пытался установить dask на google composer (airflow). Я использовал pypi (GCP UI), чтобы добавить dask и необходимые ниже пакеты (не уверен, все ли требуются Google, но не смог найти require.txt):
dask
toolz
partd
cloudpickle
google-cloud...
440 просмотров
schedule
27.11.2021
написать файл из контейнера докеров в google-cloud-composer
Некоторый контекст: я использую composer-1.3.0-airflow-1.10.0
Установлен пакет PyPi docker===2.7.0
Некоторое время я пытался использовать DockerOperator, но мне нужно вытащить изображения из частного реестра gcr.io, расположенного в другом...
880 просмотров
schedule
10.10.2021
Создание DAG-файлов Airflow в GCP Composer
Я только что узнал о GCP Composer и пытаюсь переместить DAG из моего локального экземпляра воздушного потока в облако, и у меня возникло несколько вопросов о переходе.
В локальном экземпляре я использовал HiveOperator для чтения данных из...
182 просмотров
schedule
27.11.2021
Google Cloud Composer, не удается установить python-snappy
Я пытаюсь установить python-snappy в Google Cloud Composer через консоль Google Cloud Platform. Я использую среду python3.
Я пытался установить разные python-snappy версии (0.5.3, 0.5.2, 0.5.1, 0.5, 0.4), однако всегда возникала эта ошибка:...
790 просмотров
schedule
23.11.2021
Обновите версию изображения воздушного потока в Google Cloud Composer
Когда я впервые создал экземпляр в GC Composer, он был настроен на воздушный поток 1.9.0. С тех пор изображения 1.10.0 и 1.10.1 теперь доступны для новых экземпляров композитора, но я не нашел способа обновить существующий экземпляр композитора!...
486 просмотров
schedule
09.10.2021
Как контролировать параллелизм или параллелизм установки Airflow?
В некоторых моих установках Apache Airflow группы DAG или запланированные задачи не запускаются, даже если планировщик не загружен полностью. Как я могу увеличить количество групп DAG или задач, которые могут выполняться одновременно?
Точно так же,...
25684 просмотров
schedule
22.10.2021
Автомасштабирование GKE не уменьшает масштаб
Мы используем GKE (Google Kubernetes Engine) для запуска Airflow в GCC (Google Cloude Composer) для нашего конвейера данных.
Мы начали с 6 узлов и поняли, что затраты резко выросли, и мы не использовали так много ЦП. Поэтому мы подумали, что можем...
2250 просмотров
schedule
24.10.2021
Как вывести список запущенных тегов в поде Airflow Worker
У нас есть 3 узла GKE-композитора и 3 рабочих модуля, равномерно распределенных по всем 3 узлам. Мне нужно знать, как проверить, какая группа DAG или задача в данный момент выполняется в каком модуле. Я попытался запустить airflow list_dag, но, как...
70 просмотров
schedule
17.09.2021
Google Cloud Composer - невозможно прочитать удаленный журнал
Я пытаюсь запустить свой Airflow DAG в Cloud Composer от Google (composer-1.16.4-airflow-1.10.15). Задачи не могут быть выполнены, потому что Composer не может получить доступ к файлам журнала. Я получаю следующую ошибку:
*** Unable to read...
94 просмотров
schedule
14.10.2021
Как запустить задачу извне в Dag Cloud Composer
Я хочу иметь конвейер данных, который по сути выглядит так
где несколько задач запускаются соответствующими сообщениями pubsub, обрабатывают данные из входных сообщений pubsub, а последняя задача запускается только после того, как все эти...
95 просмотров
schedule
04.11.2021
Airflow / Composer - шаблон не найден в DAG, упакованном в zip-архив
Мне не удается заставить шаблонный файл SQL работать в Composer. Я думаю, проблема связана с тем, что я упаковываю DAG в виде zip-файла, чтобы включить дополнительный код.
Я начал с этого (просто показывал соответствующие части):
dag =...
1089 просмотров
schedule
09.03.2022
Предоставление аргументов оператору воздушного потока MLEngine
Я смог успешно тренироваться с gcloud ml-engine sumbit job CLI. Затем я скопировал значение «args» из обучающего ввода консоли успешного задания.
"args": [
"--output_dir=gs://composer-models/flowers/trained_cnn",
"--train_steps=1000",...
226 просмотров
schedule
09.03.2022
Создание соединений Airflow в Cloud Composer с помощью интерфейса командной строки gcloud
Я пытаюсь создать соединения воздушного потока в Cloud Composer с помощью интерфейса командной строки gcloud. Я слежу за документом и добавляю следующий комментарий....
1029 просмотров
schedule
08.03.2022
как выбрать между DataprocWorkflowTemplateInstantiateOperator и Bashoperator для создания экземпляра шаблона рабочего процесса dataproc из композитора
У меня есть вариант использования, когда мне нужно выполнить шаблон рабочего процесса dataproc из композитора. Я использую набор команд gcloud для создания и создания экземпляра шаблона рабочего процесса. Теперь я хочу реализовать его из...
99 просмотров
schedule
10.03.2022
Настройка конфигурации узла нарушает работу sqlproxy и планировщика
Сегодня я попытался изменить тип узла кластера, поддерживающего среду облачного композитора, и переключиться на образ Ubuntu вместо COS. Я сделал это, добавив второй пул узлов в кластер GKE, затем удалив первый и перенеся все рабочие нагрузки. ....
166 просмотров
schedule
15.03.2022
Google Composer - Как установить драйверы ODBC для Microsoft SQL Server в среде
Я новичок в GCP и Airflow и пытаюсь запустить свои конвейеры python через простое соединение PYODBC через python 3. Однако я считаю, что нашел то, что мне нужно установить на машинах [Microsoft doc]...
1054 просмотров
schedule
20.03.2022
Как получить jobId, отправленный с помощью шаблона рабочего процесса Dataproc
Я отправил задание Hive с использованием шаблона рабочего процесса Dataproc с помощью оператора Airflow ( DataprocWorkflowTemplateInstantiateInlineOperator ), написанный на Python. После отправки задания какое-то имя будет присвоено как jobId...
489 просмотров
schedule
04.04.2022
Как создать динамический рабочий процесс в Airflow DAG с несколькими циклами for?
Я создаю динамический DAG с несколькими циклами для . Он правильно запускает поток, но не очень хорошо соединяется в дальнейшем по потоку. Задача dummy_ender_0_a подключается к toto_a, как и ожидалось. Но я ожидал, что dummy_ender import...
107 просмотров
schedule
14.04.2022
Как можно запустить `kubectl -f apply‹ file.yaml ›` из группы доступности базы данных с помощью оператора bash в Cloud Composer?
Я пытаюсь применить файл конфигурации для создания POD из Cloud Compose с помощью BashOperator
Сначала я попытался использовать PodOperator, но он не позволяет передать файл спецификации, он просто создается из изображения.
Я пробовал...
332 просмотров
schedule
15.04.2022
Как запустить модуль планировщика воздушного потока для Google Cloud Composer?
Кластер Composer вышел из строя, потому что его подам Airflow-worker требовался образ Docker, который был недоступен.
Теперь доступ к образу Docker был восстановлен, но модуль airflow-scheduler исчез .
Я попытался обновить среду Composer,...
253 просмотров
schedule
15.04.2022
