Apache Beam регистрирует сообщения с неправильными тегами

Журналы ошибок не регистрируются в консоли GCP.
Предупреждения журналы регистрируются как информация (поэтому я использовал их для записи информационных сообщений). Например.,

test = "hello debug world" 
logging.warning("%s", test) # will log as info message in GCP dataflow console

Журналы Info также не входят в консоль.

Я использую Apache Beam Python 3.7 SDK 2.23.0, , но, похоже, это старая проблема.

Также это происходит с помощью самого Apache Beam SDK, который иногда тихо регистрирует ошибки в виде информации.

введите описание изображения здесь

Есть идеи, что вызывает это? Кажется, это ошибка со стороны Apache Beam, а не ошибка сценария.


apache-beam google-cloud-dataflow apache-beam-io
person josealvarez97    schedule 15.09.2020    source источник
comment
Вы используете Python? Согласно документации (cloud.google.com/ dataflow / docs / guides / logging # java: -sdk-2.x_4) вы можете изменить уровень журнала для Java, но не для Python   -  person rmesteves    schedule 15.09.2020
comment
Я считаю, что это может иметь какое-то отношение к этому, да.   -  person josealvarez97    schedule 28.09.2020

Ответы (1)


arrow_upward
0
arrow_downward

Чтобы увидеть сообщения типа Error или Warning, вам нужно будет изменить значение раскрывающегося списка с «Информация» на более высокий уровень журнала. На скрине для уровня журнала задано значение «Информация», и вы ищете строковую ошибку в записях журнала, и stackdriver выполняет фильтрацию на ее основе.

person Jayadeep Jayaraman    schedule 15.09.2020
comment
Дело в том, что когда я это делаю, их там нет. То есть, если я сам регистрирую предупреждающие сообщения, переключение раскрывающегося списка их не отображает. Они просто не работают. Извините за то, что не приклеил больше скриншотов по этому поводу. - person josealvarez97; 28.09.2020