Затухание градиентов

Затухание градиентов — это проблема, при которой градиенты становятся очень маленькими по мере распространения назад через глубокие слои, что приводит к остановке обучения ранних слоев. Это было вызвано использованием сигмоидных активационных функций.

Решается с помощью ReLU, Batch Normalization и архитектур, таких как ResNet.

Проблема возникает из-за правила цепи. Если мы используем сигмоидную активационную функцию σ(z), ее производная σ′(z) лежит в диапазоне (0,0.25]. При умножении этих малых чисел на каждом слое (в Backpropagation), градиент ∂L/∂W для ранних слоев становится экспоненциально малым, что делает их обновления незначительными.

Пути решения:

• ReLU (Rectified Linear Unit): Производная ReLU равна 1 для положительных значений, что предотвращает затухание.
• Архитектуры: LSTM/GRU (для рекуррентных сетей) и ResNet (Residual Networks) используют "skip connections", которые позволяют градиенту обходить слои и напрямую передаваться в ранние слои.
• Batch Normalization: Нормализует активации внутри мини-батча, что стабилизирует распределение входных данных для каждого слоя и позволяет использовать более высокие скорости обучения.