Цепное правило в обратном распостранении ошибки

Правило цепи позволяет вычислить производную сложной функции (функции потерь) по каждому весу. В обратном распостранении ошибки (Backpropagation) мы начинаем с ошибки на выходе и, используя правило цепи, рекурсивно "распространяем" эту ошибку назад через слои, чтобы найти, насколько каждый вес способствовал общей ошибке.

Нейронная сеть — это композиция функций. Функция потерь L зависит от выхода y, который зависит от активации a, которая зависит от весов W. Для веса W_i,j в слое l, мы хотим найти ∂L/∂W_i,j​ . По правилу цепи:

где z_j — взвешенная сумма входов.

Механизм распространения ошибки:

• Прямой проход (Forward Pass): Вычисляем активации всех нейронов и общую ошибку L.
• Обратный проход (Backward Pass): Начинаем с вычисления ∂L/∂a_output​ (градиент ошибки по выходу).
• На каждом слое l, мы вычисляем градиент ∂L/∂a_l на основе градиента ∂L/∂a_l+1 с помощью правила цепи. Этот "распространенный" градиент ∂L/∂a_l и есть ошибка, которую мы используем для обновления весов W_l. Это позволяет избежать повторных вычислений и является основой эффективности обучения нейронных сетей.