Включите имя файла как тег при импорте файлов csv в infxdb с помощью телеграфа

Я новичок в infxdb, и я пытаюсь импортировать некоторые данные, хранящиеся в нескольких файлах CSV, с помощью агента telegraf и плагина ввода файлов. Я написал простой file.conf, следуя инструкциям в https://dzone.com/articles/write-points-from-csv-to-influxdb, и я смог импортировать данные в infxdb, как измерения, так и желаемые теги с данными внутри файлов.

Я хотел бы добавить дополнительный тег с именем файла, чтобы я мог фильтровать измерения из определенного файла, но я не нашел, как это сделать, в документе подключаемого модуля ввода файла (https://github.com/influxdata/telegraf/tree/master/plugins/inputs/file), ни документ CSV Parser (https://github.com/influxdata/telegraf/tree/master/plugins/parsers/csv).


csv file influxdb telegraf
person Alvaro Marco    schedule 17.10.2019    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Плагин файлов в настоящее время не поддерживает метод добавления тега имени файла. Стандартизированный исходный тег находится в процессе добавления, но он еще не поддерживается все плагины. Если вы хотите, чтобы он был добавлен в плагин файлов, я предлагаю открыть проблему с проектом.

В качестве возможного решения вы можете добавить статический тег для каждого файла. Это потребовало бы, чтобы каждый файл имел свой собственный раздел ввода в файле конфигурации telegraf. Вот пример использования тестового файла журнала json.

[[inputs.file]]
  files = ["./plugins/inputs/file/dev/testfiles/json_a.log"]
  data_format = "json"

  [inputs.file.tags]
    file = "file1"

[[inputs.file]]
  files = ["./plugins/inputs/file/dev/testfiles/json_a.log"]
  data_format = "json"

  [inputs.file.tags]
    file = "file2"

ОБНОВЛЕНИЕ

Эта функция была добавлена ​​ по вашему запросу. Это можно включить в более новых версиях Telegraf, используя следующее:

[[inputs.file]]
  files = ["./plugins/inputs/file/dev/testfiles/json_a.log"]
  data_format = "json"
  file_tag = "filename"

Строковое значение file_tag устанавливает имя тега, который будет использоваться для хранения имен файлов.

person NikNye    schedule 09.11.2019
comment
Спасибо, NikNye, я понял, что это не поддерживается, и, наконец, включил имя файла в качестве дополнительного столбца при создании файла csv. Я попрошу запрос функции, поскольку я думаю, что он может быть полезен в других сценариях, не контролирующих создание файлов. - person Alvaro Marco; 11.11.2019
comment
@AlvaroMarco Я тоже думаю, что это будет очень полезная функция. Я участвовал в проекте telegraf и буду следить за вашим запросом, чтобы внести изменения. - person NikNye; 11.11.2019