记一个简单的线代小技巧。

# 伪逆

对于奇异矩阵，其逆不存在，因此定义 Moore-Penrose 伪逆 (Moore-Penrose pseudoinverse) 为

$A^\dag = \lim_{\alpha \to 0+} (A^\top A+\alpha I)^{-1}A^\top$

这里需要注意，为什么 $\lim_{\alpha \to 0+} (A^\top A+\alpha I)^{-1}$ 是存在的。事实上，对于关于 $\alpha$ 的多项式 $|A^\top A+\alpha I|$ , 其至多有 $n$ 个根。那么 $\lim_{\alpha \to 0+} (A^\top A+\alpha I)^{-1}$ 是存在的。

实际上，这就是采用岭回归替代最小二乘回归求解线性回归的方式。当多列之间的线性相关性强时，即使其存在逆，但由于误差存在，矩阵逆的不稳定性相当大。这时仍然可以采用此方法，提高解的稳定性。

# Reference

济云：矩阵小技巧之【摄动法】