Во время нашей курсовой работы, связанной с получением степени, очереди, списки и стеки являются одними из основных структур данных, о которых мы узнаем. Кроме того, мы узнаем, чем эти Структуры отличаются друг от друга. Существуют такие программы, как Kafka, RabbitMQ, ActiveMQ и HiveMQ Message Brokers, с которыми нам придется иметь дело, когда мы приступим к работе в ИТ-индустрии. Сейчас мы пытаемся включить все, чему вы научились, в этот продукт. Как следствие, мы не получаем весь ассортимент этого товара. Потому что знаю, как именно работать с этим продуктом. Потому что мы пытаемся сопоставить наши основы с этими продуктами. Когда вы масштабируете это приложение, у вас возникает проблема, поскольку у вашей темы или очереди много клиентов. Сейчас у нас небольшие трудности.
Что такое брокер сообщений?
Брокер сообщений — это программное обеспечение, которое позволяет приложениям, системам и службам взаимодействовать друг с другом и обмениваться информацией. Брокер сообщений делает это, переводя сообщения между формальными протоколами обмена сообщениями. Это позволяет взаимозависимым службам «общаться» друг с другом напрямую, даже если они написаны на разных языках или реализованы на разных платформах. — ИБМ
Что такое Кафка?
По сравнению с брокерами сообщений, такими как RabbitMQ, Kafka обеспечивает значительно более высокую производительность. Это эффективный выбор для создания очередей, поскольку он повышает производительность за счет последовательного дискового ввода-вывода. Это важно для случаев использования больших данных, поскольку позволяет достичь высокой пропускной способности при небольшом использовании ресурсов.
Вот несколько сценариев.
01. Сценарий 01
В Kafka одна тема может включать несколько разделов. Тема сотрудника и три раздела показаны на диаграмме выше. У нас также есть группа потребителей проекта, которая считается одним потребителем. Сообщения принимаются одним потребителем (Потребителем 1) со всех трех частей. Сейчас масштабируем приложение.
02. Сценарий 02
Мы добавляем второго потребителя для 2-го сценария. Потребитель 1 прослушивает разделы 0 и 1 в этом разделе. Потребитель 2 слушает Раздел 2. Однако это совершенно случайная ситуация, когда темы и слушатели связаны. Пойдем немного дальше.
03. Сценарий 03
Прямо сейчас есть три раздела и три потребителя. Посмотрим, что произойдет, если мы добавим еще одного потребителя.
04. Сценарий 04
Kafka не передает сообщения Consumer 4, так как тема имеет три раздела. Следовательно, потребитель 4 не используется. По мере добавления дополнительных потребителей все они становятся бездействующими.
Имейте в виду, что в отношении количества потребителей у нас может быть столько потребителей, сколько у вас есть максимальное количество разделов.
Предположим, что если потребитель 1 или потребитель 2 выходит из строя, то один потребитель уже работает, поэтому Kafka немедленно переключается на оставшихся потребителей. Есть еще один подобный вариант использования.
05. Сценарий 05
Если мы откроем другую группу потребителей на ту же тему. В первой группе потребителей 3 потребителя, во второй группе потребителей 2 потребителя. Таким образом, каждый потребитель имеет каждый раздел. Итак, как потребитель знает, где я беру сообщения, поэтому Kafka поддерживает сохранение. Таким образом, существует механизм, который они поддерживают, называемый потребительским смещением.
Что такое потребительская компенсация?
Смещение потребителя — это способ отслеживания последовательного порядка, в котором сообщения получают темы Kafka. Отслеживание смещения или положения важно почти для всех случаев использования Kafka и может быть абсолютно необходимым в некоторых случаях, например, в финансовых службах.
Основываясь на смещении потребителя, Kafka знает, что конкретному потребителю нужно перейти в назначенный раздел соответственно.
Количество потребителей в группе потребителей должно быть равно или меньше количества разделов в теме
