Singular Value Decomposition
特異値分解は任意の行列 A を UΣV^T に分解する。U と V は直交行列、Σ は対角行列(対角成分が特異値)であり、行列解析の中核ツールである。
目的
低ランク近似や PCA、擬似逆行列、条件数などの基盤となる理論である。
メカニズム
A=UΣV^T と分解し、特異値 σ_i は A^T A の固有値の平方根として求まる。上位 k 個の特異値を採る切り捨て SVD は、Eckart-Young の定理により最良のランク k 近似を与える。数値的に安定しているが、計算量は O(min(mn^2, m^2n)) である。
ユースケース
- PCA による次元削減
- レコメンドシステム
- 擬似逆行列(ムーア・ペンローズ型)の計算