Гессиана и функция потерь

Гессиан — это матрица вторых частных производных функции. Он используется для определения выпуклости функции потерь и для нахождения локальных экстремумов. Если Гессиан положительно определен, функция выпукла, и любой найденный минимум будет глобальным.

Матрица Гессе H для функции f(θ) имеет вид:

Роль в оптимизации:

• Определение минимума: Вторая производная (Гессиан) используется для классификации стационарных точек. Если Гессиан в точке θ положительно определен (все его собственные числа положительны), то θ^*  — локальный минимум.
• Выпуклость: Если функция потерь выпукла (Гессиан положительно полуопределен во всей области), то любой локальный минимум является глобальным. Это гарантирует, что градиентный спуск найдет оптимальное решение.
• Метод Ньютона: Гессиан используется в методе Ньютона, который обновляет параметры как θ_t+1 = θ_t−H⁻¹∇L(θ_t). Этот метод сходится быстрее, чем градиентный спуск, но требует вычисления и обращения Гессиана, что очень дорого для моделей с большим числом параметров.