PCA и SVD

PCA основан на разложении ковариационной матрицы на собственные числа и векторы. SVD разлагает саму матрицу данных X на UΣV^T. SVD предпочтительнее, потому что он численно более стабилен, работает с неквадратными матрицами и позволяет избежать явного вычисления большой ковариационной матрицы.

PCA и SVD тесно связаны. Если X — центрированная матрица данных, то ковариационная матрица:

PCA находит собственные векторы и числа матрицы C.

SVD разлагает X = UΣV^T.

Связь — правые сингулярные векторы V из SVD являются собственными векторами ковариационной матрицы C. Сингулярные числа σ_i связаны с собственными числами λ_i как 𝜎_i² = (n−1)λ_i​

К реимуществам SVD относится численная стабильность:

• Вычисление X^TX может привести к потере точности из-за округления, особенно при работе с большими числами. SVD работает напрямую с X.
• Универсальность: SVD применим к любой матрице, тогда как PCA (через собственные векторы) требует симметричной ковариационной матрицы.

В библиотеках, таких как scikit-learn, PCA реализуется через SVD.