Filebeat не передается в kafka из-за ошибки%! S (int32 = 1)]] /%! D (MISSING) отказался от брокера%! D (MISSING)

У меня есть поисковик filebeat с конфигурацией

         prospectors:
            - type: log
              paths: /var/log/nginx/*error*.log
              enabled: true
              fields:
                source_type: topic-secerror-nginx
        output.kafka:
           hosts: ["kafkahost:kafkaport"]
           topic: "%{[fields][source_type]}"

Я получаю странные ошибки в файле filebeat, как показано ниже

        2019-11-20T10:25:08.167Z    INFO    kafka/log.go:36 producer/broker/[[3 %!d(string=topic-secerror-nginx) 2]] state change to [open] on %!s(MISSING)/%!d(MISSING)

        2019-11-20T10:25:08.167Z    INFO    kafka/log.go:36 producer/leader/[[topic-secerror-nginx %!s(int32=2) %!s(int=3)]]/%!d(MISSING) state change to [flushing-%!d(MISSING)]

        2019-11-20T10:25:08.167Z    INFO    kafka/log.go:36 producer/leader/[[topic-secerror-nginx %!s(int32=2)]]/%!d(MISSING) state change to [normal]

Кафка не использует информацию, отправленную из filebeat.

Когда я устанавливаю его в режим отладки, у меня появляется ошибка как

    %!s(int32=1)]]/%!d(MISSING) abandoning broker %!d(MISSING)

filebeat kafka-consumer-api
person Srikanth Arunachalam    schedule 20.11.2019    source источник
comment
Вы включили модуль Kafka? filebeat modules enable kafka   -  person Reyansh Kharga    schedule 20.11.2019

Ответы (1)


arrow_upward
0
arrow_downward

я решил, что это решено. Проблема заключалась в том, что брандмауэр заблокирован между filebeat и kafka. Когда ведение журнала filebeat было настроено на отладку, получение дополнительной информации, относящейся к TCP-соединению, было отклонено.

person Srikanth Arunachalam    schedule 21.11.2019