Что такое псевдообратная матрица

Псевдообратная матрица A⁺ используется для нахождения "лучшего" решения системы линейных уравнений Ax = b, когда матрица A не является квадратной или не имеет полного ранга. Она вычисляется с помощью SVD и используется для точного решения линейной регрессии (Normal Equation) без итераций.

Псевдообратная матрица A⁺ позволяет найти решение x = A⁺b, которое минимизирует норму ошибки ∥Ax−b∥² , даже если точного решения не существует.

Вычисление через сингулярное разложение (SVD) — если A = UΣV^T, то A⁺ = VΣ⁺U^T, где Σ⁺ получается из Σ заменой всех ненулевых сингулярных чисел σ_i на их обратные значения 1/σ_i.

Чаще всего данный метод используется в линейной регрессии, при решении по методу наименьших квадратов θ = (X^TX)^-1X^Ty, что требует обращение матрицы X^TX. Если X^TX необратима (например, при мультиколлинеарности или когда признаков больше, чем образцов), мы заменяем (X^TX)^-1X^T на псевдообратную матрицу X⁺.

Так же важно отметить использование в:

• Ридж-регрессия (L2-регуляризация) в модифицированном виде.
• Метод Главных Компонент (Principal Component Analysis, PCA) — вычисляется сингулярное разложение (SVD) матрицы данных.
• Neural Networks (особенно старые подходы, до backpropagation) методы обучения нейросетей.
• Решение линейных подзадач в других моделях, например вычислении приближённых обратных Якобианов и Гессианов (в методах Ньютона) используется псевдообратная для матриц, которые неинвертируемы или плохо обусловлены.