Нормальное распределение в ML

Нормальное (Гауссово) распределение — это симметричное распределение в форме колокола, полностью описываемое средним значением (μ) и стандартным отклонением (σ). Оно важно, потому что многие природные явления и, главное, ошибки предсказания в моделях часто распределены нормально (согласно Центральной Предельной Теореме).

Нормальное распределение N(μ,σ²) является краеугольным камнем в статистике и машинном обучении по нескольким причинам:

• Центральная Предельная Теорема (ЦПТ): Сумма большого числа независимых случайных величин, независимо от их собственного распределения, стремится к нормальному распределению. Это дает теоретическое обоснование для предположения о нормальности ошибок.
• Линейная регрессия: Классическая линейная регрессия предполагает, что остатки (ошибки) имеют нормальное распределение. Это предположение позволяет использовать метод Наименьших Квадратов (OLS) и обеспечивает статистическую значимость оценок.
• Инициализация весов: Веса нейронных сетей часто инициализируются случайными значениями из нормального распределения.