Какую роль выполняет Kafka Consumer

Kafka Consumer — это клиент, который читает сообщения из топиков Kafka и передаёт их в вашу бизнес-логику для обработки. Он отвечает за подписку на топики, чтение и подтверждение обработки сообщений (коммит смещений), а также за участие в балансировке нагрузки в составе consumer group. За счёт этого достигаются масштабирование, отказоустойчивость и контролируемая доставка сообщений потребителям.

Kafka Consumer — это часть клиентской библиотеки Kafka, которая отвечает за чтение сообщений из брокера и передачу их коду приложения. В отличие от продюсера, который только отправляет данные в Kafka, консюмер фокусируется на надёжном и упорядоченном получении и обработке этих данных.

Основные роли Kafka Consumer можно кратко описать так:

• Подписка на топики. Консюмер регистрируется на один или несколько топиков (через явный список или шаблон) и сообщает брокерам, какие данные ему интересны.
• Чтение (polling) сообщений. Приложение регулярно вызывает метод poll(), а консюмер забирает из брокера новые записи из назначенных ему партиций.
• Участие в consumer group. Несколько консюмеров, входящих в одну consumer group, автоматически делят между собой партиции топиков, обеспечивая горизонтальное масштабирование и перераспределение нагрузки при падении/добавлении инстансов.
• Управление смещениями (offsets). Консюмер отслеживает, до какого сообщения он дошёл в каждой партиции, и коммитит смещения (автоматически или вручную), чтобы после перезапуска продолжить чтение с нужного места и не терять данные.
• Контроль семантики доставки. В зависимости от момента коммита смещений и логики обработки можно настроить поведение близкое к at-most-once, at-least-once или (в связке с дополнительными механизмами) exactly-once.
• Обеспечение отказоустойчивости и масштабирования. При выходе консюмера из строя его партиции автоматически перераспределяются между оставшимися участниками группы, а при добавлении новых — нагрузка балансируется заново.
• Управление скоростью обработки. Консюмер косвенно реализует backpressure: приложение может настраивать размер батча, интервал вызова poll(), паузу/возобновление чтения партиций, тем самым подстраивая скорость потребления под реальную производительность обработчика.

Таким образом, Kafka Consumer — это не просто «читатель» из топика, а ключевой компонент потребляющей стороны: он связывает брокер Kafka и вашу бизнес-логику, отвечает за балансировку нагрузки в кластере потребителей, сохранение прогресса чтения и предсказуемую доставку сообщений в условиях ошибок и перезапусков.