Добавление настраиваемого тега на основе topicName (подстановочный знак) с помощью JmxTrans для отправки Kafka JMX в InfxDb

В основном я хотел получить метрику MessageInPerSec для всей темы в kafka и добавить настраиваемый тег как topicName в базу данных притока, чтобы запросить на основе темы, не основанной на определении 'ObjDomain', ниже мои JmxTrans конфигурация (обратите внимание на использование подстановочного знака для темы, чтобы получить атрибут данных MessageInPerSec JMX для всей темы)

{
  "servers": [
    {
      "port": "9581",
      "host": "192.168.43.78",
      "alias": "kafka-metric",
      "queries": [
        {
          "outputWriters": [
            {
              "@class": "com.googlecode.jmxtrans.model.output.InfluxDbWriterFactory",
              "url": "http://192.168.43.78:8086/",
              "database": "kafka",
              "username": "admin",
              "password": "root"
            }
          ],
          "obj": "kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec,topic=*",
          "attr": [
            "Count",
            "MeanRate",
            "OneMinuteRate",
            "FiveMinuteRate",
            "FifteenMinuteRate"
          ],
          "resultAlias": "newTopic"
        }
      ],
      "numQueryThreads": 2
    }
  ]
}

что дает результат в базе данных Influx, как показано ниже

[name=newTopic, time=1589425526087, tags={attributeName=FifteenMinuteRate,
 className=com.yammer.metrics.reporting.JmxReporter$Meter, objDomain=kafka.server,
 typeName=type=BrokerTopicMetrics,name=MessagesInPerSec,topic=backblaze_smart}, 
precision=MILLISECONDS, fields={FifteenMinuteRate=1362.9446063537794, _jmx_port=9581
}]

и создать тег со всем objDomain, указанным в конфигурации, но я хотел, чтобы тема была отдельным тегом, который выглядит следующим образом

[name=newTopic, time=1589425526087, tags={attributeName=FifteenMinuteRate,
 className=com.yammer.metrics.reporting.JmxReporter$Meter, objDomain=kafka.server,
  topic=backblaze_smart,
 typeName=type=BrokerTopicMetrics,name=MessagesInPerSec,topic=backblaze_smart}, 
precision=MILLISECONDS, fields={FifteenMinuteRate=1362.9446063537794, _jmx_port=9581
}]

не удалось найти какой-либо соответствующей документации о том, как использовать подстановочное значение темы в качестве отдельного тега с помощью jmxtrans и записи его в InfluxDB.


apache-kafka influxdb jmxtrans
person Sunder R    schedule 14.05.2020    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Вам просто нужно добавить следующие дополнительные свойства для модуля вывода Influx. Просто убедитесь, что вы используете последнюю версию выпуска jmxtrans. Документы находятся здесь: https://github.com/jmxtrans/jmxtrans/wiki/InfluxDBWriter

typeNames: [тема],
typeNamesAsTags: true

Я перечислил вашу конфигурацию с указанными выше модификациями.

{
  "servers": [
    {
      "port": "9581",
      "host": "192.168.43.78",
      "alias": "kafka-metric",
      "queries": [
        {
          "outputWriters": [
            {
              "@class": "com.googlecode.jmxtrans.model.output.InfluxDbWriterFactory",
              "url": "http://192.168.43.78:8086/",
              "database": "kafka",
              "username": "admin",
              "password": "root",
              "typeNames": ["topic"],
              "typeNamesAsTags": "true"
            }
          ],
          "obj": "kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec,topic=*",
          "attr": [
            "Count",
            "MeanRate",
            "OneMinuteRate",
            "FiveMinuteRate",
            "FifteenMinuteRate"
          ],
          "resultAlias": "newTopic"
        }
      ],
      "numQueryThreads": 2
    }
  ]
}
person Ramesh N    schedule 21.09.2020