Что такое consumer group в Kafka

Consumer group в Kafka — это группа потребителей с одним и тем же идентификатором group.id, которые совместно читают сообщения из набора топиков. Внутри группы каждый раздел (partition) топика обрабатывается только одним consumer'ом, что даёт распределение нагрузки и масштабирование. Смещения (offsets) хранятся отдельно для каждой группы, поэтому разные группы могут независимо читать одни и те же данные.

Consumer group в Kafka — это логическое объединение одного или нескольких consumer-процессов, которые совместно читают сообщения из топиков под общим идентификатором group.id. Гарантируется, что каждый раздел топика в пределах одной группы обрабатывается не более чем одним consumer'ом одновременно, за счёт чего достигается параллельная обработка и отсутствие дублирующего чтения внутри группы.

Основные свойства consumer group:

• Распределение нагрузки. Если у топика несколько разделов, Kafka распределяет их между consumer'ами в группе. При добавлении или удалении consumer'а происходит ребалансировка, и разделы перераспределяются автоматически.
• Отказоустойчивость. Если один consumer в группе падает, его разделы будут назначены оставшимся участникам группы, и чтение из топика продолжится без ручного вмешательства.
• Изоляция групп. Смещения чтения (offsets) хранятся отдельно для каждой группы в служебном топике __consumer_offsets. Это позволяет разным consumer group'ам независимо читать один и тот же топик: одна группа может быть «онлайн»-обработкой, другая — batch-аналитикой.
• Семантика очереди и pub/sub. В пределах одной группы каждое сообщение из раздела доставляется только одному consumer'у, то есть группа ведёт себя как масштабируемая очередь. Если создать несколько групп, получаем модель pub/sub: каждое сообщение будет независимо прочитано по одному разу в каждой группе.

Итого, consumer group — это базовый механизм Kafka для масштабируемого, отказоустойчивого и независимого потребления потоков данных разными приложениями.