Инструменты мониторинга Logstash

Мы настраиваем среду для logstash и эластичного поиска для анализа журнала. Моя аппаратная среда является высокопроизводительной, хотя производительность logstash низкая. Теперь наша цель — найти следующую область, где требуется много времени для ввода, фильтрации или вывода. Поэтому мы решили заняться его мониторингом. На данный момент у нас есть один вариант — использовать анализ дампа потока Java. Это единственный способ или какие-либо другие доступные варианты.

Сведения о файле конфигурации

input {
   file {
      path => ["home/**/*.log"]
      start_position => beginning
  }

}

filter {}

output {
    stdout { codec => rubydebug }
    elasticsearch {}
}

performance logstash logstash-grok logstash-forwarder elasticsearch
person Devaraj    schedule 28.01.2015    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Лично я, возможно, не лучший способ, я тестировал свою конфигурацию, запуская ее локально после удаления раздела вывода и используя плагин-генератор. Возможен и другой ввод (файлы, tcp, все, что возможно для использования точных данных).

Затем я изменил конфигурацию по мере необходимости и выполнил следующую команду, чтобы увидеть различия: time java -jar logstash.jar agent -f conffile

Исходя из опыта, операторы if, а также подробный синтаксический анализ потребовали много ресурсов, и я мог бы сэкономить некоторые, оптимизировав их (в вашем случае я не вижу здесь многого). Лично я бы сначала попробовал запустить его с рубиновым блоком и без него, чтобы увидеть, потребляет ли это много ресурсов (не знаю, как появляется рубиновая часть).

Вы также можете выбрать параллельный запуск заданий (особенно с несколькими ядрами), по умолчанию logstash использует только одного рабочего (или используется для этого). Имейте в виду, что в некоторых случаях несколько рабочих процессов могут иметь неожиданные побочные эффекты (например, запуск статистики и т. д., здесь это не рассматривается).

person volker    schedule 28.01.2015
comment
Мы попробуем ответить вам в ближайшее время - person Devaraj; 29.01.2015
comment
Знаете ли вы, как проще всего подсчитать количество событий в секунду в logstash? - person Devaraj; 29.01.2015
comment
метрики. Но в прошлом была ошибка, из-за которой не удавалось использовать несколько потоков. В противном случае вы можете посмотреть в ES, сколько событий происходит. Для тестирования времени java... было достаточно для моих случаев (и запускать их несколько раз подряд, поскольку другие системные задачи могут замедлить тестовый запуск). - person volker; 29.01.2015
comment
Спасибо, я постараюсь и дам вам знать - person Devaraj; 30.01.2015