Конечно! Вот краткая шпаргалка по Kafka, которая охватывает основные понятия и команды:
Шпаргалка Кафки:
1. Основы Kafka:
- Apache Kafka: распределенная платформа потоковой передачи.
- Темы: потоки записей, в которые Kafka упорядочивает данные.
- Разделы: разделы темы для масштабируемости и параллелизма.
- Производители: приложения, записывающие данные в темы Kafka.
- Потребители: приложения, считывающие данные из тем Kafka.
- Брокеры: сервер Kafka. экземпляры, которые хранят и реплицируют сообщения.
2. Инструменты командной строки Kafka:
- Создайте тему:
```
kafka-topics.sh --create --topic ‹topic_name› --bootstrap-server ‹bootstrap_servers› --partitions ‹num_partitions› --replication-factor ‹replication_factor›
```
– Список тем:
> ```
kafka-topics.sh --list --bootstrap-server ‹bootstrap_servers›
```
- Создавать сообщения:
```
kafka-console-producer.sh --topic ‹topic_name› --bootstrap-server ‹bootstrap_servers›
```
- Использование сообщений:
```
kafka-console-consumer.sh --topic ‹topic_name› --bootstrap-server ‹bootstrap_servers› [--from-beginning]
```
3. Конфигурация Kafka:
- server.properties: основной файл конфигурации Kafka.
- zookeeper.connect: строка подключения ZooKeeper.
- listeners: сетевые прослушиватели для Kafka.
- log.dirs: каталог, в котором Kafka хранит данные журнала.
- num.partitions: количество разделов по умолчанию для новых тем.
4. Группы потребителей Kafka:
— Группа потребителей: группа потребителей, которые совместно используют данные.
— Идентификатор группы: идентификатор группы потребителей. ›
```
- Сбросить смещения групп потребителей:
```
kafka-consumer-groups.sh --bootstrap-server ‹bootstrap_servers› --group ‹group_id› --reset-offsets --to-earliest --all-topics --execute
```
5. Kafka Producers:
- Ключ сообщения: необязательный ключ, используемый для секционирования и упорядочения сообщений.
- Значение сообщения: фактически создаваемые данные.
- Сериализация сообщения: преобразование данных в байты перед отправкой.
- Асинхронная отправка: отправка неблокирующего производителя.
- Синхронная отправка: отправка блокирующего производителя.
6. Kafka Connect:
– Connect API: платформа для подключения внешних систем к Kafka.
– Исходные соединители: импорт данных из внешних систем в Kafka.
– Приемные соединители: экспорт данных из Kafka во внешние системы.
– Конфигурации соединителя: определение свойств соединителя.
7. Kafka Streams:
— Streams API: библиотека потоковой обработки в Kafka.
— Streams DSL: высокоуровневая абстракция потоковой обработки.
— Оконные операции: агрегирование по временным окнам.
— Операции с отслеживанием состояния: поддержание и обновление состояния при обработке потоков.
8. Безопасность Kafka:
— Аутентификация: проверка личности клиентов и серверов.
— Авторизация: предоставление или отказ в доступе к ресурсам Kafka.
— SSL-шифрование: защита передачи данных между клиентами и брокерами.
— SASL (простая аутентификация и уровень безопасности): платформа для подключаемых механизмов аутентификации.
1. Kafka Producers:
– Подтверждения производителя: настройте параметр `acks` для контроля надежности сообщений.
– Сжатие сообщений: включите сжатие, чтобы уменьшить использование пропускной способности сети.
– Размер пакета: настройте `batch.size`, чтобы оптимизировать пакетную обработку сообщений производителем.
– Сериализация сообщений: рассмотрите возможность использования облегченного формата сериализации, такого как Avro или JSON.
2. Потребители Kafka:
- Смещения потребителей: понимание того, как Kafka отслеживает смещения и управляет потреблением сообщений.
- Длительность опроса: настройте тайм-аут `poll()` для баланса между скоростью отклика и эффективностью.
- Управление смещением: выберите между ручным управлением смещением и автоматической фиксацией смещения.
- Ребалансировка: узнайте, как группы потребителей обрабатывают повторную балансировку при добавлении или удалении потребителей.
3. Оптимизация производительности Kafka:
– Мониторинг показателей Kafka: используйте такие инструменты, как встроенные показатели Kafka и внешние решения для мониторинга.
– Стратегия секционирования: выберите подходящий ключ для распространения сообщений, чтобы избежать горячих точек.
– Коэффициент репликации: баланс между отказоустойчивостью и производительностью при настройке коэффициента репликации.
– Размер сообщения: оптимизируйте размер сообщения, чтобы избежать перегрузки сети и узких мест дискового ввода-вывода.
- Соображения по поводу оборудования: предоставьте достаточные ресурсы (ЦП, память, диск) для развертывания Kafka.
4. Отказоустойчивость и высокая доступность:
– Коэффициент репликации: установите коэффициент репликации больше 1 для избыточности данных.
– Синхронные реплики (ISR): понимание концепции ISR и ее важности для отказоустойчивости.
– Выбор лидера: ознакомьтесь с процессом выбора лидера в Kafka.
– Мониторинг и оповещение: внедрите надежные системы мониторинга и оповещения для быстрого обнаружения и устранения сбоев.
5. Экосистема Kafka:
- Преобразователи Kafka Connect: используйте преобразователи для обработки сериализации и десериализации данных.
- Реестр схем: используйте реестр схем для управления развитием схемы и совместимостью.
- Хранилища состояний Kafka Streams: поймите, как определять и использовать хранилища состояний для интерактивных запросов.
- Семантика Exactly Once: узнайте, как Kafka обеспечивает сквозную обработку сообщений ровно один раз.
6. Дополнительные советы:
– Ознакомьтесь с принципами проектирования Kafka, такими как горизонтальная масштабируемость и отказоустойчивость.
– Выполните практические упражнения, создайте простые приложения Kafka и изучите реальные варианты использования.
– Будьте в курсе последних выпусков Kafka, функций и обсуждений в сообществе.
– Будьте готовы объяснить распространенные варианты использования Kafka, такие как аналитика в реальном времени, агрегирование журналов и события поиск.
Помните, что эта шпаргалка задумана как краткое справочное руководство, поэтому очень важно углубиться в каждую тему, чтобы получить полное представление. Удачи в подготовке к интервью с Кафкой!
Помните, что эта шпаргалка содержит краткий обзор ключевых концепций и команд Kafka. Для получения более подробной информации обратитесь к официальной документации Kafka и изучите другие учебные ресурсы.
