Kafka > >

Что такое replication factor в Kafka

Junior

Что такое replication factor в Kafka?

Ответ для собеседования

Replication factor в Kafka — это количество копий (реплик) каждой партиции топика, распределённых по разным брокерам кластера. Он определяет уровень отказоустойчивости: сколько брокеров может выйти из строя, а данные и возможность писать/читать сообщения сохранятся. Чем выше replication factor, тем выше надёжность, но тем больше расход диска и сетевого трафика.

Подробный ответ

В Kafka данные топика делятся на партиции, и каждая партиция может иметь несколько реплик, расположенных на разных брокерах. Параметр replication.factor задаёт, сколько таких копий будет у каждой партиции: одна из них — leader, остальные — followers.

Все операции записи и чтения по умолчанию идут через лидера партиции. Фолловеры асинхронно копируют данные с лидера, чтобы в случае его падения один из них мог быстро стать новым лидером, не теряя уже зафиксированные записи.

Replication factor напрямую влияет на отказоустойчивость. Например, при replication factor = 1 у партиции нет резервной копии: падение брокера с этой партицией приводит к потере доступности (а при определённых настройках — и данных). При replication factor = 3 кластер может потерять один брокер (иногда и два, в зависимости от того, как разложены партиции), и партиция по‑прежнему останется доступной, так как лидер будет переизбран среди оставшихся реплик.

На практике replication factor чаще всего ставят равным 3 для боевых топиков, чтобы сохранить баланс между отказоустойчивостью и затратами ресурсов. Нужно помнить, что каждая дополнительная реплика увеличивает объём требуемого дискового пространства и сетевой трафик на репликацию, а также может чуть повысить задержки записи при строгих настройках подтверждений (например, acks=all в связке с min.insync.replicas).

При проектировании нужно сочетать replication factor с политиками подтверждения записи (acks) и параметром min.insync.replicas: так вы задаёте, сколько реплик должны подтвердить запись, чтобы она считалась надёжно сохранённой. В итоге replication factor — это один из ключевых параметров Kafka, определяющий стратегию по надёжности, доступности и стоимости хранения.

Нашли ошибку? Выделите ее

Как Kafka обеспечивает отказоустойчивость и высокую доступностьКак Kafka обеспечивает отказоуст...

В чём разница между leader replica и follower replicaВ чём разница между leader repli...