В каких пределах Kafka гарантирует порядок сообщений

Kafka гарантирует порядок сообщений только внутри одной партиции: записи читаются в том же порядке, в котором были записаны в лог этой партиции. Между разными партициями одного топика общего порядка нет. Глобальный порядок возможен лишь при использовании единственной партиции, что ограничивает масштабируемость.

Модель Kafka основана на логах партиций: каждый топик разбивается на несколько партиций, и каждая партиция — это упорядоченный, только дописываемый лог с неизменяемыми сообщениями, пронумерованными по смещению (offset). Именно в пределах одной партиции Kafka строго сохраняет порядок: сообщения читаются потребителями в том же порядке, в котором были физически записаны продюсером.

Важно понимать ограничения этих гарантий:

• Порядок гарантирован только внутри одной партиции. Если топик имеет несколько партиций, никакого глобального порядка между ними нет, и сообщения из разных партиций могут приходить в произвольной относительной последовательности.
• Чтобы сохранить логический порядок по какому-то ключу (например, по ID пользователя или заказу), продюсер должен использовать ключ сообщения так, чтобы все сообщения с этим ключом попадали в одну и ту же партицию. Тогда для каждого ключа порядок будет сохраняться.
• Внутри группы потребителей (consumer group) каждая партиция в каждый момент времени обрабатывается только одним потребителем, поэтому порядок чтения в рамках партиции не нарушается. Однако если вы параллелите обработку внутри одного потребителя (несколько потоков, асинхронная обработка), вы можете сами разрушить порядок на уровне бизнес-логики.
• Если нужна глобальная упорядоченность по всему топику, придётся использовать одну партицию. Это даёт полный порядок, но убирает горизонтальное масштабирование по партициям и ограничивает пропускную способность одним брокером/партицией.
• При настройках продюсера тоже есть нюансы: для надёжного соблюдения порядка стоит включать идемпотентный продюсер и не допускать одновременных запросов, которые могут переупорядочить повторные отправки при ошибках записи.

Итого: Kafka даёт жёсткую гарантию порядка только на уровне отдельной партиции. На практике этого достаточно, если правильно выбрать ключи партиционирования и аккуратно спроектировать параллелизм потребителей; для строгого глобального порядка по всем сообщениям обычно жертвуют масштабируемостью и используют одну партицию.