Filebeat в Logstash -InvalidFrameProtocolException

Я пытаюсь загрузить данные из filebeat в logstash. При загрузке, при выполнении команды->

bin/logstash -f first-pipeline.conf --config.reload.automatic 

, обнаружена следующая ошибка:

[2018-06-05T11:30:43,987][INFO ][logstash.inputs.beats    ] Beats inputs: Starting input listener {:address=>"0.0.0.0:5044"}
[2018-06-05T11:30:44,047][INFO ][logstash.pipeline        ] Pipeline started successfully {:pipeline_id=>"main", :thread=>"#<Thread:0x969dfe run>"}
[2018-06-05T11:30:44,083][INFO ][org.logstash.beats.Server] Starting server on port: 5044
[2018-06-05T11:30:44,112][INFO ][logstash.agent           ] Pipelines running {:count=>1, :pipelines=>["main"]}
[2018-06-05T11:32:05,045][INFO ][org.logstash.beats.BeatsHandler] [local: 0:0:0:0:0:0:0:1:5044, remote: 0:0:0:0:0:0:0:1:31903] Handling exception: org.logstash.beats.BeatsParser$InvalidFrameProtocolException: Invalid Frame Type, received: 69

Файл first-pipeline.conf:

# The # character at the beginning of a line indicates a comment. Use
# comments to describe your configuration.
input {
beats {
        port => "5044"
    }
}
# The filter part of this file is commented out to indicate that it is
# optional.
# filter {
#
# }
output {
stdout { codec => rubydebug }
}

Файл Filebeat.yml:

filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - \C:\PATH-TO-DOC\elasticDoc\logstash-tutorial-dataset.log
#----------------------------- Logstash output --------------------------------
output.logstash:
  # The Logstash hosts
  hosts: ["localhost:5044"]

Пример набора данных logstash-tutorial-dataset.log:

83.149.9.216 - - [04/Jan/2015:05:13:42 +0000] "GET /presentations/logstash-monitorama-2013/images/kibana-search.png HTTP/1.1" 200 203023 "http://semicomplete.com/presentations/logstash-monitorama-2013/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36"
83.149.9.216 - - [04/Jan/2015:05:13:42 +0000] "GET /presentations/logstash-monitorama-2013/images/kibana-dashboard3.png HTTP/1.1" 200 171717 "http://semicomplete.com/presentations/logstash-monitorama-2013/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36"

В чем причина этой ошибки? Этот вопрос уже задавался ранее, но ответа не было. Пожалуйста, также дайте мне знать, где я мог бы улучшить свои концепции в logstash и filebeat больше. Я начинающий.


person Umang Bhargava    schedule 05.06.2018    source источник
comment
Что еще происходит, кроме вывода logstash? Останавливается ли процесс logstash? Сообщения больше не обрабатываются?   -  person baudsp    schedule 05.06.2018
comment
Когда я пытался отправить данные из stdin в elasticsearch из logstash, он работал нормально. Но данные не могут быть отправлены из filebeat в logstash. Я не думаю, что сообщения вообще обрабатываются.   -  person Umang Bhargava    schedule 07.06.2018
comment
Наконец, Logstasah показывал это: [2018-06-06T13: 22: 38,140] [WARN] [io.netty.channel.DefaultChannelPipeline] Сработало событие exceptionCaught (), которое достигло конца конвейера. Обычно это означает, что последний обработчик в конвейере не обрабатывал исключение. io.netty.handler.codec.DecoderException: org.logstash.beats.BeatsParser $ InvalidFrameProtocolException: недопустимый тип кадра, получено: 84   -  person Umang Bhargava    schedule 07.06.2018
comment
Возможно это проблема совместимости? то есть версия logstash, которую вы используете, не поддерживает версию filebeat, которую вы используете.   -  person baudsp    schedule 07.06.2018
comment
У меня есть последние версии logstash и filebeat, то есть 6.2.4.   -  person Umang Bhargava    schedule 07.06.2018


Ответы (1)


Проблема заключалась в моем имени файла в filebeat.yml. Расширение не понадобилось. Также в файле first-pipeline.conf я удалил кодек и отправил свои журналы прямо в эластичный поиск, и он начал работать для меня.

person Umang Bhargava    schedule 13.06.2018