[第34集] 左右逆和伪逆

根据网易公开课之MIT线性代数视频所做的笔记—[第34集] 左右逆和伪逆。

—————————————————————————————

    视频地址：http://v.163.com/special/opencourse/daishu.html

—————————————————————————————

这节课的内容：

左右逆

伪逆

r是秩，n是列数，m是行数，矩阵可逆的情况下：r = n = m

列满秩的情况下，r=n<m;

列向量线性无关，零空间只有{0}；

列向量线性无关，Ax=b存在0个或1个解。可能无解或只有唯一解，因为其它解都可以通过特解加上零空间的向量来得到，而零空间没有向量可以加，所以只有这个特解是唯一解。（我这样理解，由于行向量不是线性无关，矩阵经过消元，会出现一个全0行(假设行i)，这样表示0x1+0x2+0x3+……0xn = bi，如果bi=0，有解，如果bi≠0，无解）

左逆的概念

A是秩为n的矩阵，则A^TA是nxn的对称矩阵，而且是满秩的。(A^TA)^(-1)A^T成为A的左逆。A的左逆左乘以A等于I，即A^TA的逆乘以A。不管A是什么形式，都可以找到一个矩阵使其变成单位矩阵。但它不是两边都成立的逆，一个长方形矩阵没有两边都成立的逆，因为它肯定有某个零空间存在，要么它自身，要么它的转置。

行满秩的情况，r = m < n;

A^T的零空间只包含零向量，因为没有行向量的组合等于零向量；

行向量线性无关，总能求解Ax=b，因为无论何时，消元都不会得到一个全0行，所以永远不会碰到0=1这种情况，因此方程总有无穷多解。在这种情况下有(n-m)个自由变量。

右逆的概念

归纳：

存在两边逆，满秩情况下，两个零空间都只有{0}；

左逆情况下，列空间只有{0}，行空间维数是r，零空间维数是n-r；

右逆情况下，行空间只有{0}，列空间维数是r，零空间维数是m-r；

两边都没逆，零空间有非零向量。

A左乘以A的左逆是投影矩阵P。

A的右逆左乘以A是行空间的投影矩阵。

伪逆

行空间向量x，乘以A之后的Ax属于列空间的一向量，对所有x经过A变换后，可以得到列空间的所有向量，即行空间的向量x与列空间的向量Ax是一一对应的关系。在行空间，所有向量都能由行空间的分量和零空间的分量构成，但是经过变换，零空间的分量只有{0}。

反过来，列空间的Ay经过A+变换到行空间对应的y，A+就称为A的伪逆。

x,y属于行空间，则（x-y）也属于行空间；如果（x-y）属于零空间，那么x=y.

求伪逆的方法

一种方法是从SVD开始，进行奇异值分解，将矩阵A分解成一个正交矩阵，乘以对角矩阵乘以正交矩阵。对角矩阵Σ，有些非零元素，它们来自A^TA和AA^T.