Что такое градиент и почему он важен для обучения моделей?
Градиент — это вектор частных производных функции, который указывает направление наискорейшего роста функции. В машинном обучении используется антиградиент (градиент со знаком минус) для градиентного спуска, чтобы найти минимум функции потерь и оптимизировать веса модели.
Градиент ∇L(θold) показывает, как быстро меняется функция потерь L при изменении каждого параметра θi. Вектор градиента всегда перпендикулярен линиям уровня функции. В алгоритме Градиентного спуска мы обновляем веса θnew в направлении, противоположном градиенту, чтобы уменьшить ошибку:
где η — скорость обучения (Learning Rate).
Без градиента невозможно определить, в какую сторону нужно скорректировать веса, чтобы улучшить предсказания модели.
Отметьте свой прогресс