Регуляризация (regularization) — это набор методов, направленных на уменьшение сложности модели и предотвращение переобучения. Она достигается путем добавления дополнительного члена (штрафа) к функции потерь, который зависит от весов модели.
Наиболее распространенные типы регуляризации:
- L1-регуляризация (Lasso): Добавляет штраф, равный сумме абсолютных значений весов. Она может приводить к обнулению некоторых весов, что эффективно выполняет отбор признаков.
