Оптимизаторы Adam, RMSProp и SGD+Momentum

SGD+Momentum — использует "инерцию" для ускорения.

RMSProp — адаптирует скорость обучения для каждого параметра, используя скользящее среднее квадратов градиентов.

Adam — комбинирует оба подхода: использует Momentum (первый момент) и адаптивную скорость обучения RMSProp (второй момент). Adam — хороший выбор по умолчанию.

Все эти оптимизаторы являются расширениями SGD, направленными на решение проблем нестабильности и медленной сходимости.

Когда и какой выбрать:

• Adam: Рекомендуется как оптимизатор по умолчанию для большинства задач глубокого обучения из-за его баланса скорости и адаптивности — комбинирует Momentum (первый момент) и RMSProp (второй момент).
• SGD+Momentum: Часто используется для финального обучения или для достижения наилучших результатов на соревнованиях, так как он может найти более острый минимум, чем адаптивные методы, но требует тщательной настройки η. Накапливает экспоненциально взвешенное среднее градиентов (инерция).
• RMSProp: Хорош для Recurrent Neural Networks (RNN) — адаптивно настраивает η для каждого параметра, используя скользящее среднее квадратов градиентов.