Смещение и дисперсия

Смещение (bias) — это ошибка, вызванная неверными предположениями в алгоритме обучения, что приводит к тому, что модель не улавливает основные закономерности в данных (недообучение).

Дисперсия (variance) — это ошибка, вызванная чувствительностью модели к небольшим колебаниям в обучающих данных, что приводит к переобучению.

Существует компромисс между смещением и дисперсией.

Смещение (bias) — это разница между средним предсказанием нашей модели и истинным значением, которое мы пытаемся предсказать. Высокое смещение означает, что модель делает систематические ошибки и не может уловить сложные закономерности в данных (недообучение). Простые модели, такие как линейная регрессия, обычно имеют высокое смещение.

Дисперсия (variance) — это изменчивость предсказаний модели для разных обучающих наборов данных. Высокая дисперсия означает, что модель очень чувствительна к шуму в обучающих данных и может сильно меняться при небольших изменениях в данных (переобучение). Сложные модели, такие как глубокие нейронные сети, обычно имеют высокую дисперсию.

Компромисс смещения-дисперсии (Bias-Variance Tradeoff): В машинном обучении существует компромисс между смещением и дисперсией.

Увеличение сложности модели обычно уменьшает смещение, но увеличивает дисперсию, и наоборот. Цель состоит в том, чтобы найти оптимальный баланс, который минимизирует общую ошибку модели.