Azure HDinsight Kafka и настройка kafka для IP-рекламы

Я ищу некоторую информацию о Azure HDInsight Kafka и делаю кафку для рекламы IP-адресов вместо полных доменных имен. Когда мы создаем HDInsight Kafka, по умолчанию он создает внутренние полные доменные имена, предоставленные лазером, и эти полные доменные имена могут разрешаться во виртуальных сетях. Во внутрисетевых сетях мы не можем разрешить эти полные доменные имена. Даже если мы хотим решить эту проблему, мы должны использовать настраиваемый DNS в соответствии с документацией Azure. В качестве альтернативы мы можем использовать kafka для рекламы своих IP-адресов, а не полных доменных имен. Это может быть достигнуто с помощью инструмента / панели управления кластером Ambari, где нам нужно добавить несколько строк текста в конфигурацию kafka (шаблон kafka-env).

https://docs.microsoft.com/en-us/azure/hdinsight/kafka/apache-kafka-connect-vpn-gateway#configure-kafka-for-ip-advertising

Как часть приведенной выше ссылки, мы должны пойти и добавить строки текста ниже в «шаблоне kafka-env», чтобы сделать IP-рекламу.

#Configure Kafka to advertise IP addresses instead of FQDN
IP_ADDRESS=$(hostname -i)
echo advertised.listeners=$IP_ADDRESS
sed -i.bak -e '/advertised/{/advertised@/!d;}' /usr/hdp/current/kafka-broker/conf/server.properties
echo "advertised.listeners=PLAINTEXT://$IP_ADDRESS:9092" >> /usr/hdp/current/kafka-broker/conf/server.properties

Но это ручной шаг, который мы должны сделать, пройдя через панель управления Ambari.

Но мы стремимся полностью автоматизировать добавление приведенного выше текста (без ручного вмешательства в панель управления amabari и добавления того же текста выше) с использованием какого-либо механизма REST API или каким-либо другим способом.

В документе Azure и многих других связанных документах я не нашел способа, который объяснил бы то же самое ни с помощью REST API, ни каким-либо другим способом.

Кто-нибудь сделал это автоматизируя или кто-нибудь знает, как автоматизировать управление конфигурацией на этой панели инструментов Ambari для IP-рекламы для Kafka и другого управления конфигурацией либо с помощью REST, либо любым другим способом?

В общем, мы стремимся автоматизировать IP-рекламу на HD Insight Kafka вместо того, чтобы вручную заходить в панель управления Ambari и вручную добавлять вышеуказанный текст.


person Kanthu Canty    schedule 19.02.2020    source источник


Ответы (1)


Ambari предоставляет конечные точки отдыха, которые можно использовать для изменения конфигурации таких компонентов, как Kafka. Вы можете использовать остальные клиенты, чтобы автоматизировать это.

Пожалуйста, обратитесь: https://cwiki.apache.org/confluence/display/AMBARI/Modify+configurations

https://cwiki.apache.org/confluence/display/AMBARI/Service+Config+Versions+API+usage

person suman    schedule 19.06.2020