Мониторинг событий потока данных GC в минуту в Stackdriver

Я выполняю задание по обработке данных в Google Cloud. Я знаю, как отслеживать исходящую от него метрику elementCount. Но этот показатель показывает мне общее количество событий, обработанных заданием с самого начала. Но как следить за скоростью? Нравится количество событий за промежуток времени, за минуту в Stackdriver?

В идеале я хотел бы применить простое преобразование к метрике elementCount внутри Stackdriver. Но я боюсь, что мне нужно будет отправить отдельную метрику, вычисленную в задании Dataflow ...


google-cloud-platform google-cloud-dataflow google-cloud-stackdriver
person zarzyk    schedule 14.06.2018    source источник

Ответы (1)


arrow_upward
3
arrow_downward

Вы можете получить доступ ко всем метрикам stackdriver через API (хотя elementCount является датчиком, вы можете получить временные ряды). Вот все показатели потока данных в StackDriver:

https://cloud.google.com/monitoring/api/metrics_gcp#gcp-dataflow

Вероятно, вам нужно произвести некоторые вычисления на таймсериях, если вы хотите иметь правильную скорость для временных окон.

Документация по таймсериям API находится здесь:

https://cloud.google.com/monitoring/api/ref_v3/rpc/google.monitoring.v3

Вы даже можете получить доступ к API в своих потоках данных. Обратите внимание: я думаю, что при использовании метрик это должен был быть счетчик.

person alexvanboxel    schedule 14.06.2018
comment
Значит, в Stackdriver UI нет возможности сделать это? Только через API? Жалко ... Это требует от меня запуска другого пользовательского интерфейса мониторинга, например Grafana. Надеюсь, что такая полноценная интеграция существует. - person zarzyk; 15.06.2018
comment
Ха, да, я чувствую твою боль. В stackdriver он выдает совершенно бесполезные графики. Я заполнил заявку в общедоступном трекере, поэтому не стесняйтесь пометить ее: Issuetracker.google.com/ issues / 110285363 - person alexvanboxel; 17.06.2018
comment
Отлично, спасибо, Алекс за это. Не могли бы вы изменить ответ, чтобы отразить это? Что-то вроде этого невозможно в UI, я здесь попросил фичу. Но вот как это можно сделать через API. Тогда я был бы рад принять ответ. Это было бы полезно для других, ищущих решение. - person zarzyk; 19.06.2018
comment
В качестве альтернативы вы можете получить временной ряд, как было предложено Алексом, но затем вернуть рассчитанную скорость в настраиваемую метрику, чтобы вы могли использовать ее для политик предупреждений в Stackdriver и просматривать график скорости элементов конвейера из пользовательского интерфейса Stackdriver. - person Sven.DG; 14.05.2019