у меня проблема с использованием Graylog, я пытался получить простой файл журнала, который содержит строки сообщений; Однако я обнаружил, что Graylog не полностью использует содержимое файлов журнала; т.е. Graylog потребляет только 800 из 1000 строк сообщений в файле журнала;
Я просмотрел журнал каждого компонента и не нашел сообщения об ошибке;
Я проверил через веб-консоль, все в порядке с зеленым состоянием (осколок Elasticsearch)
Ниже приведена моя настройка на машине с одним узлом.
Информация о машине
- Выпуск CentOS 6.7 (финальный)
- Ядро процессора: 3
- Всего памяти: 12 ГБ
Однако на этом компьютере запущено более одного приложения, поэтому у меня здесь ограниченный ресурс, что, вероятно, нормально, поскольку я пытался настроить Graylog для целей POC;
Рабочий процесс приложения
Будет около 60 клиентов удаленных машин, и каждый из них будет генерировать файлы журнала (около 24 МБ / файл / час), этот файл журнала содержит сообщение, которое необходимо принять Graylog для нужд службы поддержки.
Что касается производственного режима, я подумал о пользовательском сборщике, использующем Nifi, который загружает файлы журналов через ftp на наш сервер Graylog. Для POC мы будем использовать одну машину для развертывания ядра Graylog и веб-интерфейса, MongoDB и ElasticSearch, и нам нужно только смоделировать получение файлов журнала, которые уже находятся в локальном каталоге сервера Graylog; Я использую NX Log для использования файла и выдачи GELF в качестве вывода, который будет позже обработан ядром Graylog.
Предполагается, что файлы журнала быстро (в режиме реального времени) загружаются Graylog, однако, как я уже говорил ранее, Graylog кажется остановленным в середине задачи, эта проблема случалась раньше, и я просто перезапустил все, и Graylog возобновил свою задачу, к сожалению, я этого не сделал. Не проверяйте комплектность.
Файлы конфигурации Graylog
elasticsearch.yml: http://pastebin.com/eerR9LNb
nxlog.conf: http://pastebin.com/cN20rFnr
server.conf: http://pastebin.com/Nqp44wBH
collection-sidecar.yml: http://pastebin.com/YkbX4Mh9
Настройка конфигурации Graylog через веб-консоль
Ввод
Raw / Plain GELF UDP Размер буфера приема 1048576 Ограничение размера в распакованном виде 8388608
Конфигурация коляски коллектора
Я добавил здесь ввод и вывод для журналов NX и только переменные, зависящие от конфигурации, такие как URL, порт, формат входного файла (регулярное выражение) и т. д., и я не трогал ни одного контрольного списка.
Декоратор
Мой партнер использовал декоратор со строкой формата +${ORIG_ADDRESS_ADDRESS} и целевым полем ORIG_ADDRESS_ADDRESS.
Извлечение
Опять же, мой партнер использовал экстрактор, и когда он понял об этой текущей проблеме, он удалил экстрактор и обнаружил, что эта проблема все еще возникает.
