Вопросы по теме 'aws-msk'

Как увеличить Потребителей Кафки нет
Скажем, например - название темы Kafka - topic_X topic_X имеет 500 разделов в брокере Kafka Теперь мы установили 500 потребителей для группы Consumer_X для обработки каждого раздела. Куда Бежать этим 500 потребителям? В одной машине 500 ниток?...
148 просмотров

org.apache.kafka.clients.NetworkClient Bootstrap broker (id: -3 rack: null) отключен при подключении к потребителю kafka через NiFi
Я пытаюсь получить сообщения из темы kafka в Amazon MSK (Kafka Version 2.2.1) с помощью процессора NiFi ConsumeKafka_2_6 (NiFi версии 1.12.1). В процессоре ConsumeKafka я получаю предупреждение как org.apache .kafka.clients.NetworkClient [Consumer...
1132 просмотров
schedule 18.01.2022

Как AWS MSK, Confluent Schema Registry и Confluent Kafka Connect рекомендуется использовать вместе?
Мы планируем использовать сервис AWS MSK для Managed Kafka и Schema Registry, а также сервисы Kafka Connect из Confluent вместе для запуска наших коннекторов (Elasticsearch Sink Connector). Мы планировали запустить реестр схем и коннекторы в EC2....
965 просмотров

MSK Kafka: Объясните, почему для ZookeeperConnectString указано несколько конечных точек и как их использовать.
Если вы выполните следующую команду aws, вы получите сведения о кластере msk kafka: aws kafka list-clusters Это возвращает что-то вроде этого: { "ClusterInfoList": [ { "BrokerNodeGroupInfo": {...
111 просмотров
schedule 24.04.2022

AWS Kafka (MSK) - как создать хранилище ключей и хранилище доверенных сертификатов и использовать их в моем приложении Spring Cloud Stream?
Есть ли информация о том, как использовать данные AWS MSK в моем приложении Spring Cloud Stream? Я считаю, что нам нужно создать хранилище ключей и хранилище доверенных сертификатов, а затем включить их в наше приложение? Я просмотрел страницу...
1432 просмотров

Как установить auto.create.topics.enable в качестве конфигурации по умолчанию в кластере AWS MSK
Наш кластер AWS MSK не создает темы автоматически, когда производитель впервые публикует сообщение по теме. Это удивительно, поскольку поведение по умолчанию согласно https://kafka.apache.org/documentation/#brokerconfigs должен иметь...
5350 просмотров