Вопросы по теме 'logstash-configuration'
Сохранять тег / поле для событий в logstash 1.5
Я использую logstash 1.5 для анализа журналов.
Я хочу отслеживать два события, которые происходят одно за другим. Поэтому я хотел бы установить флаг / поле / тег при первом событии и сохранить значение для всех событий.
Я просмотрел эту ссылку...
106 просмотров
schedule
26.10.2021
Получение параметров RESTful GET в logstash
Я пытаюсь получить logstash для анализа пар ключ-значение в HTTP-запросе на получение из моих файлов журнала ELB.
поле запроса выглядит как http://aaa.bbb/get?a=1&b=2
Я бы хотел, чтобы в строке журнала выше было поле для a и b , и у...
4446 просмотров
schedule
29.09.2021
Как мне красиво распечатать JSON для тела электронной почты в logstash?
У меня есть конфигурация Logstash, которую я использовал для пересылки сообщений журнала в электронных письмах. Он использует json и json_encode для анализа и перекодирования сообщений журнала JSON.
json_encode использовался для красивой...
2525 просмотров
schedule
19.10.2021
Отправка данных в logstash по tcp
У меня возникают некоторые проблемы с отправкой данных журнала в мой экземпляр журнала logstash из простого приложения Java. В моем случае я стараюсь избегать использования log4j logback и вместо этого пакетировать события json в отдельных строках...
26533 просмотров
schedule
09.10.2021
Logstash в EC2 не может отправлять данные журнала в сервис AWS Elasticsearch
В EC2 я настроил logstash, как показано ниже.
input {
# beats{
# port => 5044
# }
file {
type => "adjustlog"
path => "/etc/logstash/conf.d/sample.log"
start_position => "beginning"...
1414 просмотров
schedule
15.10.2021
Используете идентификатор таблицы для sql_last_value в logstash?
У меня есть инструкция MySQL как таковая в моем jdbc плагине на logstash input.
statement => "SELECT * from TEST where id > :sql_last_value"
В моей таблице нет полей date или datetime как таковых. Итак, я пытаюсь обновить...
1958 просмотров
schedule
28.10.2021
Используйте Logstash% {[source]}, чтобы отображать имя файла только для индекса Elasticsearch.
Я хотел бы использовать имя файла из исходного файла в качестве индекса для моих записей elasticsearch, так как у нас будет несколько разных файлов журнала, которые будут регистрироваться в Elasticsearch с использованием FileBeats и LogStash.
На...
2205 просмотров
schedule
13.09.2021
Отказано в подключении Filebeat к logstash
Я пытаюсь отправить файлы журнала из filebeat-> logstash-> elastic search. filebeat.yml. Но в журнале файловых событий появляется следующая ошибка:
2017-12-07T16:15:38+05:30 ERR Failed to connect: dial tcp [::1]:5044: connectex: No connection...
4802 просмотров
schedule
16.11.2021
синхронизировать данные mongo с эластичными с помощью logstash
Я хочу синхронизировать свои данные mongodb (локальный mongodb) с эластичным поиском (локальный эластичный) с помощью плагина logstash от mongodb
Я установил плагин logstash, используя
bin/logstash-plugin install logstash-input-mongodb ....
1917 просмотров
schedule
24.11.2021
Вложенный документ в elasticsearch с использованием logstash
Привет всем, я пытаюсь проиндексировать документы с сервера MSSQL на elasticsearch с помощью logstash. Я хотел, чтобы мои документы загружались как вложенные документы, но я получаю общую ошибку исключения
Здесь я размещаю весь свой код...
655 просмотров
schedule
01.11.2021
Применить сопоставления в ElasticSearch 7
Я давно использую ElasticSearch 6, и мне удалось применить сопоставление для наиболее часто используемых полей. Недавно я создал еще один кластер (v7.7), но не могу применять те же сопоставления, поскольку default устарел. В моих сопоставлениях...
206 просмотров
schedule
28.09.2021
Elasticsearch _update_by_query в журнале ошибка [Ошибка вывода HTTP] Обнаружен HTTP-код 400, отличный от 2xx
Рабочий вызов _update_by_query -
POST /s1test-demo7/_update_by_query
{
"script": {
"source": "ctx._source.externaldata = params.externaldata",
"lang": "painless",...
42 просмотров
schedule
04.10.2021
Удалите старые документы из эластичного поиска с помощью logstash
Я использую logstash для индексации данных из postgres (плагин ввода jdbc) в elasticsearch. У меня нет информации о времени в базе данных. Пользователи таблицы Postgres для импорта имеют 2 столбца - идентификатор пользователя (уникальный), без имени...
1461 просмотров
schedule
12.03.2022
Поле слияния Logstash с корневым объектом
У меня есть ввод logstash, который выглядит так
{
"@timestamp": "2016-12-20T18:55:11.699Z",
"id": 1234,
"detail": {
"foo": 1
"bar": "two"
}
}
Я хотел бы объединить содержимое "детали" с корневым объектом,...
3370 просмотров
schedule
23.03.2022
_grokparsefailure Тег во всех проанализированных журналах с несколькими фильтрами Grok
Я пытаюсь разобрать журнал minecraft с помощью Elastic Stack, и я столкнулся с очень странной проблемой (вероятно, странной для меня!)
все строки моего журнала обрабатываются правильно, но у меня есть тег _grokparsefailure в каждом из них.
моя...
1114 просмотров
schedule
20.03.2022
Logstash Обновить документ в elasticsearch
Попытка обновить определенное поле в elasticsearch через logstash. Можно ли через logstash обновить только набор полей?
Пожалуйста, найдите код ниже,
input {
file {
path => "/**/**/logstash/bin/*.log"
start_position...
9837 просмотров
schedule
05.04.2022
Как я могу проверить, содержит ли путь к файлу моего журнала определенную строку в конфигурации logstash с помощью регулярного выражения?
Я использую filebeat для отправки журналов в logstash в зависимости от их имени файла - эти журналы отправляются в определенные индексы в elasticsearch. Filebeat работает хорошо, logstash получает файлы журнала, но я не могу получить регулярное...
1392 просмотров
schedule
18.04.2022
Проблема с конфигурацией logstash при разборе многострочного журнала
У меня есть многострочный журнал ниже, который я пытаюсь проанализировать с помощью моей конфигурации logstash.
2020-05-27 11:59:17 ----------------------------------------------------------------------
2020-05-27 11:59:17 Got context
2020-05-27...
265 просмотров
schedule
23.05.2022
Как отформатировать дату в фильтре в Logstash
Я использую Logstash для вывода сообщения JSON в API. Я читаю журналы из файла журнала. Мои конфигурации работают нормально, и он также отправляет все сообщения в API. Ниже приведен образец файла журнала:
Файл журнала:
2014 Jun 01...
348 просмотров
schedule
21.06.2022
Как извлечь значение из журнала с помощью grok и logstash
Я должен извлечь значение из журнала, состоящего из строк следующим образом:
<38>1 [2017-03-15T08:45:23.168Z] apache.01.mysite.com event=login;src_ip=xxx.xxx.xxx.xxx\, xxx.xxx.xxx.xxx\,...
187 просмотров
schedule
22.06.2022
