Пользовательские метрики в амбари

Есть ли способ отслеживать конкретные показатели болтов в амбари? Вот что я пробовал. Мне удалось опубликовать образец метрики с помощью https://github.com/bbende/ambari-metric-producer/blob/master/src/main/java/org/apache/ambari/MetricProducer..java Можем ли мы увидеть эту метрику в амбари?

В метриках HDFS мы можем добавить виджет для метрик HDFS / Hbase для DataNode / NameNode, который содержит все метрики по умолчанию. Можно ли иметь в этом списке какие-то специальные метрики, например счетчик в одном из болтов в топологии.


hdfs apache-storm ambari metric
person user2147688    schedule 28.03.2016    source источник
comment
Какому сервису будет принадлежать специальный показатель?   -  person cjackson    schedule 28.03.2016
comment
это может быть счетчик, например, сколько кортежей выполнено в болте.   -  person user2147688    schedule 29.03.2016

Ответы (1)


arrow_upward
2
arrow_downward

Чтобы иметь возможность использовать метрики в виджетах Ambari, вы должны сообщить о них Ambari, добавив их в файл metrics.json. У каждой службы, управляемой амбари, есть соответствующий файл metrics.json. Например, вот metrics.json для службы HBase.

Определите, какая служба отвечает за метрику, которую вы хотите добавить, а затем измените этот файл services metrics.json, чтобы включить его. Затем вы должны перезапустить ambari-server, чтобы изменения вступили в силу. Затем вы можете использовать метрику в любом желаемом виджете.

Еще один файл конфигурации, который использует Ambari, - это файл widgets.json. Он находится в том же каталоге, что и файл metrics.json. Для некоторых служб не определен файл widgets.json, поэтому они не смогут добавлять виджеты с помощью панели управления службами. Storm - одна из таких служб. Вы можете определить файл widgets.json для Storm и добавить его в службу. См. Документацию Ambari по Операции с виджетами для подробнее.

person cjackson    schedule 29.03.2016
comment
Спасибо @cjackson. Я хочу контролировать несколько счетчиков в моих топологиях шторма. Также я вижу опцию добавления виджета только для сервисов HDFS / HBASE, а не в сервисе STORM. - person user2147688; 30.03.2016
comment
Я изменил свой ответ, чтобы объяснить, почему в службе STORM нет кнопки добавления виджета. - person cjackson; 30.03.2016
comment
Спасибо. Я вижу, что изменение вступает в силу, если я изменяю metrics.json на сервере ambari и на сервере, на котором размещен сервер, а также в каталоге ambari-agent и перезапускаю сервер. Есть ли какая-либо документация по управлению этими файлами и тому, как эти файлы копируются с сервера амбари на соответствующий агент амбари? - person user2147688; 31.03.2016
comment
Вам нужно только изменить эти файлы в их исходном местоположении, которое находится на узле ambari-server в / var / lib / ambari-server / resources / common-services / ‹service-name› / ‹version› или / var / lib. / ambari-server / resources / stacks / ‹stack› / ‹version› / services / ‹service-name›. После перезапуска сервера ambari эти файлы копируются на каждый узел кластера через агент ambari. - person cjackson; 31.03.2016
comment
Спасибо. Понял это сразу после моего предыдущего комментария. раньше я обновлял metrics.json в разделе common-services. Я вижу изменения при обновлении файла в / stacks /. Есть ли документация по управлению этими файлами? - person user2147688; 31.03.2016
comment
Я имел в виду документацию, в которой говорилось, когда и как обновлять эти файлы. как вы указали в своем предыдущем комментарии. Какой-нибудь сложный документ, если он доступен. - person user2147688; 01.04.2016
comment
Я не знаю такой документации. Это знания, которые я собрал, написав свои собственные пользовательские сервисы, просмотрев исходный код основных сервисов Ambari Hadoop и задав вопросы в списке адресов электронной почты пользователей Ambari. В вики, на которую я уже ссылался, есть хорошая информация, но она не полная. - person cjackson; 01.04.2016