Задания Dataprep выполняются более 72 часов с момента обновления 6/20. Статус работы читается как завершено, но не опубликовано

Я выполнял ежедневные задания Dataprep, и с момента обновления на прошлой неделе примерно половина моих заданий теперь зависает и не публикуется. Они отображаются как незавершенные работы, хотя когда я перехожу на страницу фактических вакансий, работа кажется завершенной. Нет действия по публикации, и цель публикации не отображается обновленной. Некоторые работы выполняются уже более 72 часов с пятницы.

Я видел следы того, что у других пользователей была такая же проблема в Интернете, но не видел никакого ответа или признания ни от Google, ни от Trifacta.

Я безуспешно пытался перезапустить задания, и оказалось, что нет способа отменить эти зависшие задания, потому что с точки зрения Google кажется, что задания были успешными сами по себе, но не опубликованы. Эта проблема возникает как в моих заданиях, которые публикуются в BigQuery, так и в заданиях, которые публикуются в Google Cloud Storage, а также в заданиях, выполняемых вручную и по расписанию.


google-cloud-dataprep
person Trung Pham    schedule 24.06.2019    source источник

Ответы (4)


arrow_upward
1
arrow_downward

Это может повлиять только на задания, которые были перенесены во время обновления, и должно носить скорее косметический характер. Обратите внимание, что с вас не будет взиматься плата.

Та же самая работа работала раньше без изменений? Если да, обратитесь в службу поддержки и предоставьте им в качестве справки идентификатор успешной, а теперь и неуспешной работы, чтобы ее можно было исследовать дальше.

Привет, Себастьян

person Sebastian Cyris    schedule 25.06.2019
comment
Я не могу быть уверен в том, как происходит выставление счетов, но мне кажется, что мы все еще наблюдаем начисление платы за поток данных за эти задания, даже если они не завершены. - person justbeez; 26.06.2019

arrow_upward
0
arrow_downward

Я пришел с той же проблемой! Выходные данные заданий помещаются во временную папку в облачном хранилище, причем выходные данные в основном состоят из нескольких файлов без заголовков ....

person B Delfos    schedule 25.06.2019

arrow_upward
0
arrow_downward

Здесь также возникают огромные проблемы. Вместо обычного выходного файла он помещает несколько его частей во временную папку без заголовков. Делает новые запланированные задания, которые полагаются на эти выходные данные, бесполезными, потому что он не загружает новые выходные данные.

Если вы вручную объедините файлы во временной папке и добавите заголовки (в случае csv) + поместите их в правильную папку, вывод можно будет создать вручную (для csv).

Также пока нет ответа от Google.

person Mark    schedule 25.06.2019
comment
Проблема исчезла около недели и снова появилась в прошлую пятницу (5 июля). Все наши процессы снова нарушены. Кто-нибудь еще нашел решение? - person Mark; 08.07.2019

arrow_upward
0
arrow_downward

Мы наблюдаем то же самое в отношении пунктов назначения и типов работы. . . это почти похоже на то, что Dataprep теряет отслеживание базового задания DataFlow и не завершает свое завершение (вот почему вы видите временные файлы - это выходные данные, а затем Dataprep обрабатывает форматирование выходного файла отдельно).

Кто-то был достаточно любезен, чтобы уже опубликовать это в системе отслеживания проблем, поэтому, пожалуйста, отметьте его и добавьте любые дополнительные сведения, которые могут быть полезны команде Dataprep: https://issuetracker.google.com/issues/135865374

person justbeez    schedule 25.06.2019