Как AWS MSK, Confluent Schema Registry и Confluent Kafka Connect рекомендуется использовать вместе?

Мы планируем использовать сервис AWS MSK для Managed Kafka и Schema Registry, а также сервисы Kafka Connect из Confluent вместе для запуска наших коннекторов (Elasticsearch Sink Connector). Мы планировали запустить реестр схем и коннекторы в EC2.

Согласно команде Confluent, они не могут официально поддерживать реестр схем Confluent и Kafka Connect, если мы будем использовать MSK для Kafka.

Итак, кто-нибудь может поделиться своим опытом? как если бы Anybuddy использовал комбинацию сервисов MSK и Confluent вместе в производственной среде?

Есть ли риск в использовании такой комбинации?

Рекомендуется или не использовать эту комбинацию?

Как будет поддерживаться сообщество Confluent, если у нас возникнут какие-либо проблемы с коннекторами?

Любые другие предложения, комментарии или альтернативы?

У нас уже есть лицензия Confluent Corporate Platform, но мы хотим управлять сервисом Kafka, поэтому мы выбрали AWS MKS, поскольку, согласно нашему анализу, это более рентабельно, чем Confluent Cloud?

Пожалуйста, поделитесь своими мыслями и заранее спасибо.

Спасибо


apache-kafka aws-msk confluent-schema-registry confluent-platform confluent-cloud
person Suresh Sanghani    schedule 28.10.2020    source источник
comment
Я был бы очень удивлен, если бы MSK на самом деле дешевле (для того, что вы получаете), чем Confluent Cloud, учитывая, что вы получаете больше услуг и поддержки с Confluent Cloud.   -  person OneCricketeer    schedule 29.10.2020

Ответы (1)


arrow_upward
4
arrow_downward

Объективно ответить на ваш вопрос, это вполне выполнимо, но все зависит от того, в чем ваша основная боль.

С точки зрения лицензирования нет ничего, что заставляло бы вас иметь подписку Confluent только для использования Kafka Connect или Schema Registry, поскольку они основаны на Apache License 2.0 и Confluent Community License соответственно.

С технической точки зрения вы можете запускать как Kafka Connect, так и Schema Registry на EC2 и; пока они работают в том же VPC, что и кластер MSK, они будут работать безупречно.

С точки зрения затрат вам нужно будет оценить, сколько стоит иметь Kafka Connect и реестр схем, которыми управляете вы и / или ваша команда. Подумайте не только о фазе установки и настройки, но и о фазе управления и развития. Программное обеспечение может не иметь никаких затрат, но усилия по эксплуатации этих компонентов могут быть переведены в стоимость.

Как будет поддерживаться сообщество Confluent, если у нас возникнут какие-либо проблемы с коннекторами?

Сообщество Kafka обычно очень полезно, если вы обращаетесь за помощью в группу пользователей Apache Kafka или в сообщество, которым Confluent владеет в Slack. Конечно, все дело в максимальных усилиях, и вы не можете рассчитывать на их поддержку. Может пройти несколько дней, прежде чем какой-нибудь добрый самаритянин решит помочь вам. Что также означает стоимость: сколько стоит отключение и / или ожидание разрешения проблемы?

Я больше не являюсь сотрудником Confluent и поэтому даже не буду пытаться убедить вас покупать у них. Но вы должны оценить этот компонент стоимости и проверить, не предоставит ли Confluent Cloud более экономичное решение, поскольку оно включает управляемую версию Kafka, Kafka Connect и Schema Registry. По моему опыту, управляемый Kafka в Confluent Cloud не так дорог, а реестр управляемых схем бесплатный, но использование управляемого соединителя может быть очень дорогостоящим и может быть хуже в зависимости от количества задач, которые вы настраиваете в управляемом соединителе. Это единственная ошибка, которую вам следует остерегаться.

person Ricardo Ferreira    schedule 28.10.2020