GetKafka не получает сообщения в Apache Nifi

Я пытаюсь получить сообщения с помощью процессора GetKafka, но не могу его получить. Я тестировал использование сообщений с помощью потребителя командной строки Kafka, и он работает. Я также смог успешно использовать процессор PutKafka, чтобы помещать сообщения в тему. Приложил мои настройки, где я установил строку подключения Zookeeper и имя темы. Когда я запускаю поток, я не вижу ошибок в процессорах.

Процессор GetKafka

Я вижу исключение в nifi-app.log:

2016-08-03 09:34:33,722 WARN [70e1df87-6097-4ed0-9a40-7e36f9be6921_mydomain.com-1470231250839-1fbd0cfe-leader-finder-thread] kafka.client.ClientUtils$ Fetching topic metadata with correlation id 0 for topics [Set(test)] from broker [id:0,host:DataSlave1.CSE-RD.com,
port:9092] failed                                                                                                                                                                                                                                                                 
java.nio.channels.ClosedByInterruptException: null                                                                                                                                                                                                                                
        at java.nio.channels.spi.AbstractInterruptibleChannel.end(AbstractInterruptibleChannel.java:202) ~[na:1.8.0_101]                                                                                                                                                          
        at sun.nio.ch.SocketChannelImpl.poll(SocketChannelImpl.java:957) ~[na:1.8.0_101]

Kafka (0.8): 2.10-0.8.2.1, Nifi: 0.7.0 Я что-то упустил? Спасибо.


apache-nifi hortonworks-data-platform
person John Doe    schedule 03.08.2016    source источник
comment
Какие версии Kafka и NiFi вы используете?   -  person Bryan Bende    schedule 03.08.2016
comment
Кафка (0.8): 2.10-0.8.2.1, Нифи: 0.7.0   -  person John Doe    schedule 03.08.2016
comment
Хорошо, является ли DataSlave1.CSE-RD.com разрешимым именем хоста, с которого работает NiF?   -  person Bryan Bende    schedule 03.08.2016
comment
Да - это разрешимое имя.   -  person John Doe    schedule 03.08.2016
comment
Хорошо, если это разрешимо, то я не уверен ... Похоже, что большинство людей получают эту ошибку, когда брокер Kafka сообщает клиенту, что такое имя хоста, а затем клиент не может подключиться к нему. В этом сообщении есть та же ошибка, и большинству людей приходилось устанавливать объявленное имя хоста брокера: stackoverflow.com/questions/30606447/   -  person Bryan Bende    schedule 03.08.2016
comment
Спасибо, Брайан Бенде!   -  person John Doe    schedule 03.08.2016

Ответы (1)


arrow_upward
0
arrow_downward

Исключение исчезло после перезапуска. GetKafka теперь может получать сообщения по мере их отправки производителем. Он не получал предыдущие сообщения в теме (что-то эквивалентно --from-begin в консольном потребителе kafka). Я не вижу настройки для этого в процессоре.

person John Doe    schedule 03.08.2016