Публикации по теме 'kafka'
Устранение ошибки «Координатор не знает об этом участнике» в Kafka Consumers
В Mercafacil большинство наших микросервисов полагаются на Kafka для доставки асинхронных событий между микросервисами. Недавно мы столкнулись с ошибкой потребителя Kafka «Координатор не знает об этом участнике», что привело к повторной обработке сообщений в цикле. Такое поведение не только истощает ресурсы, но и может привести к пагубным несоответствиям данных, поскольку у нас есть такие события, как отправка сообщений клиентам или зачисление кэшбэка на кошельки клиентов. В этой статье мы..
Приложение Kafka Kstream на Java
Kafka — это распределенная платформа потоковой передачи, которая используется для создания конвейеров данных в реальном времени и потоковых приложений. Он предоставляет способ публикации и подписки на потоки данных, а также платформу для хранения, обработки и запроса этих данных.
KStream — это библиотека Java для создания потоковых приложений с использованием Kafka. Он предоставляет высокоуровневый API для работы с потоками Kafka, позволяя разработчикам легко считывать данные из разделов..
Обучение модели машинного обучения в Kafka Stream
Обновление модели машинного обучения онлайн и почти в реальном времени с использованием обучающих данных, созданных производителем Kafka.
В последнее время меня все больше интересует машинное обучение онлайн — возможность обновлять веса модели машинного обучения в производственных условиях. Помимо темы, предоставляющей мне забавные архитектурные задачи , этот подход может похвастаться огромным потенциалом выгоды. Это исследование от Grubhub в 2021 году продемонстрировало + 20 % с..
Начало работы с Kafka и Java SpringBoot
Привет и добро пожаловать в этот учебник по началу работы с Kafka и Java SpringBoot. В этом видео мы рассмотрим мощные возможности Kafka и покажем, как интегрировать его со SpringBoot для создания надежных масштабируемых приложений.
Если вы предпочитаете учиться, наблюдая, обязательно посмотрите наше видео YouTube на ту же тему, где мы рассказываем все в этом руководстве в наглядном и увлекательном формате
Создание нового проекта
Во-первых, давайте начнем с создания нового..
Микросервисы на практике: разработка клона Instagram — Post Service
Это пятая часть серии «Разработка клона Instagram», ссылки на другие части приведены ниже.
Разработка клона Instagram: Введение . Разработка клона Instagram: служба обнаружения . Разработка клона Instagram: служба аутентификации . Разработка клона Instagram: медиасервис . Разработка клона Instagram: Post Service. Разработка Instagram Clone: Graph Service . Разработка клона Instagram: служба новостной ленты . Разработка клона Instagram: служба шлюза . Разработка клона..
Как повысить эффективность сервисов, управляемых сообщениями Kafka
AVRO — Секретный рецепт сериализации данных
Передача компьютерных записей может осуществляться в различных форматах, таких как CSV, текст и даже байтовый двоичный формат. JSON, без сомнения, является одним из распространенных форматов данных в настоящее время. Он широко используется в REST API. Он настолько популярен, потому что данные могут быть представлены в виде иерархической структуры и в текстовом формате, который легко читается.
Использование JSON широко распространено...
Проверьте свой кластер Kafka с помощью Python
Создайте собственного производителя / потребителя, чтобы обеспечить работоспособность кластера
Если вы, как и я, работаете DevOps, вам иногда нужно развертывать новые версии промежуточного программного обеспечения (возможно, в целях безопасности или для использования некоторых новых функций и т. Д.). Но что будет, если эти новые версии не будут работать с вашими предыдущими конфигами?
Основываясь на этом наблюдении, мы реализовали несколько автоматических тестов, которые запускаются..
