本文最后更新于:2024年1月14日 晚上

我们之前介绍过逆矩阵,可逆矩阵在线性代数中地位重要,应用方便。但遗憾的是,不是所有的矩阵都是可逆矩阵。我们有必要对矩阵的逆进行推广,使得每个矩阵甚至是非方块的矩阵都有广义的逆。

源起

设 $ \boldsymbol{A} $ 是 $ n \times n $ 可逆方阵, $ \boldsymbol{b} $ 是任意一个 $ n $ 维向量, 则方程组:
$$
A \boldsymbol{x}=\boldsymbol{b}
$$
总有解, 且解 $ \boldsymbol{x} $ 可表为:
$$
\boldsymbol{x}=\boldsymbol{A}^{-1} \boldsymbol{b}
$$
现设 $ \boldsymbol{A} $ 是任意 $ m \times n $ 阵, $ \boldsymbol{b} $ 是一个 $ m $ 维向量, 是否存在 $ n \times m $ 矩阵 $ \boldsymbol{G} $, 使 得只要方程 $ A x=b $ 有解, 则:
$$
\boldsymbol{x}=\boldsymbol{G b}
$$
这样的矩阵 $ \boldsymbol{G} $ 就涉及到广义逆的概念.

广义逆

广义逆 (generalized inverse), 也称伪逆(pseudoinverse),大多数情况下都是指 Moore-Penrose 广义逆矩阵 (Moore-Penrose pseudoinverse)。

也有说法将 M-P 广义逆矩阵称为伪逆矩阵,在这种表述下伪逆是一种特殊的广义逆。

Moore 广义逆矩阵

F. H. Moore 于 1920 年给出了矩阵的广义逆的概念:

  • 设 $ \boldsymbol{A} \in \mathbb{C}^{m \times n} $, 如果 $ \boldsymbol{G} \in \mathbb{C}^{n \times m} $ 满足
    $$
    \boldsymbol{A} \boldsymbol{G}=P_{R(\boldsymbol{A}), N\left(\boldsymbol{A}^{\mathrm{H}}\right)}, \quad \boldsymbol{G} \boldsymbol{A}=P_{R\left(\boldsymbol{A}^{\mathrm{H}}\right), N(\boldsymbol{A})}
    $$
    其中 $ P_{R(\boldsymbol{A}), N\left(\boldsymbol{A}^{\mathrm{H}}\right)} $ 表示沿子空间 $ N\left(\boldsymbol{A}^{\mathrm{H}}\right) $ 向子空间 $ R(\boldsymbol{A}) $ 上的正交投影算子, $ P_{R\left(\boldsymbol{A}^{\mathrm{H}}\right), N(\boldsymbol{A})} $ 表示沿子空间 $ N(\boldsymbol{A}) $ 向子空间 $ R\left(\boldsymbol{A}^{\mathrm{H}}\right) $ 上的正交投影算子, 则称 $ \boldsymbol{G} $ 为 $ \boldsymbol{A} $ 的 Moore 广义逆矩阵.

Penrose 广义逆矩阵

Moore 广义逆矩阵的含义不容易理解和应用, 因此 Moore 给出的广义逆矩阵一直未被 重视。 直到 1955 年剑桥大学的博士研究生 Roger Penrose 给出了广义逆矩阵的 另一个等价定义, 才使得广义逆矩阵的研究获得迅速发展。

  • 设 $ \boldsymbol{A} \in \mathbb{C}^{m \times n} $, 如果 $ \boldsymbol{G} \in \mathbb{C}^{n \times m} $ 同时满足:

    $$ \begin{array}{l} (1) \quad \boldsymbol{A} \boldsymbol{G A}=\boldsymbol{A} ,\\ (2) \quad \boldsymbol{G A} \boldsymbol{G}=\boldsymbol{G} ,\\ (3) \quad (\boldsymbol{A} \boldsymbol{G})^{\mathrm{H}}=\boldsymbol{A} \boldsymbol{G} ,\\ (4) \quad (\boldsymbol{G} \boldsymbol{A})^{\mathrm{H}}=\boldsymbol{G} \boldsymbol{A} , \end{array} $$

    则称 $ G $ 为 $ A $ 的 Penrose 广义逆矩阵, 简称为 Penrose 广义逆, 记为 $ A^{+} $, 或 $ A^{\dagger} $。

    这里 $ A^{H} $ 表示 $ A $ 的共轭转置矩阵。

矩阵的 Moore 广义逆与 Penrose 广义逆是等价的, 并且是唯一的, 故也称为 M-P广义逆

证明M-P广义逆唯一

存在性

设 $ r=\operatorname{rank}(A) $ ,则必定存在 $ m $ 阶可迕矩阵 $ P $ 以及 $ n $ 阶可迕矩阵 $ Q $, 使得:

$$ A=P\left(\begin{array}{cc}E_{r} & O \\ O & O\end{array}\right) Q $$

设 $ m \times r $ 矩阵 $ B=P\left(\begin{array}{c}E_{r} \\ O\end{array}\right), r \times n $ 矩阵 $ C=\left(\begin{array}{ll}E_{r} & O\end{array}\right) Q $

则 $ B $ 是列满秩矩阵, $ C $ 是行满秩矩阵,且 $ A=B C $ (事实上,任意矩阵都能分解为一个列满秩 矩阵与一个行满秩矩阵的乘积,这种分解叫做满秩分解)

此时 $ C C^{H} , B^{H} B $ 均为 $ r $ 阶可逆矩阵 (提示: 验证 $ \operatorname{rank}\left(C C^{H}\right)=\operatorname{rank}( C )=r $, 可仿照实 矩阵中二次型的方法,利用复矩阵中共轭二次型予以证明)

令 $ X=C^{H}\left(C C^{H}\right)^{-1}\left(B^{H} B\right)^{-1} B^{H}=C^{H}\left(B^{H} A C^{H}\right)^{-1} B^{H} $ ,则 $$ A X A=B C C^{H}\left(C C^{H}\right)^{-1}\left(B^{H} B\right)^{-1} B^{H} B C=B C=A $$ $$ \begin{aligned} A X A & =B C C^{H}\left(C C^{H}\right)^{-1}\left(B^{H} B\right)^{-1} B^{H} B C=B C=A \\ X A X & =C^{H}\left(C C^{H}\right)^{-1}\left(B^{H} B\right)^{-1} B^{H} B C C^{H}\left(C C^{H}\right)^{-1}\left(B^{H} B\right)^{-1} B^{H} \\ & =C^{H}\left(C C^{H}\right)^{-1}\left(B^{H} B\right)^{-1} B^{H} \\ & =X \\ (A X)^{H} & =\left(B C C^{H}\left(C C^{H}\right)^{-1}\left(B^{H} B\right)^{-1} B^{H}\right)^{H} \\ & =\left(B\left(B^{H} B\right)^{-1} B^{H}\right)^{H} \\ & =A X\end{aligned} $$

同理, $ (X A)^{H}=X A $

存在性得证

唯一性

若 $ Y $ 也是 $ A $ 的M-P广义逆矩阵,则

$$ A Y A=A, Y A Y=Y,(Y A)^{H}=Y A,(A Y)^{H}=A Y $$ $$ \begin{aligned} Y & =Y A Y \\ & =Y A X A Y \\ & =Y(A X)^{H}(A Y)^{H} \\ & =Y(A Y A X)^{H} \\ & =Y(A X)^{H} \\ & =Y A X \\ & =Y A X A X \\ & =(Y A)^{H}(X A)^{H} X \\ & =(X A Y A)^{H} X \\ & =(X A)^{H} X \\ & =X A X \\ & =X\end{aligned} $$

唯一性得证。

M-P广义逆

借助奇异值分解 (SVD) 计算 M-P 广义逆矩阵。我们知道对于任意一个矩阵均可以采用 SVD,对 $ m \times n $ 矩阵 $ A $ 分解得:
$$
A=U \Sigma V^{T}
$$
其中, $ U $ 和 $ V^{T} $ 为 $ m \times m $ 的正交单位阵, $ \Sigma $ 为 $ m \times n $ 的对角矩阵。记 $ A $ 的 M-P 广义逆矩阵为 $ A^{+} $,那么有:
$$
A^{+}=V \Sigma^{+} U^{T}
$$
其中, $ \Sigma^{+} $为 $ \Sigma $ 的 M-P 广义逆,计算方法为先将 $ \Sigma $ 对角线上的非零元素取倒数,再将整个矩阵转置,即可得到 $ \Sigma^{+} $。

广义逆矩阵

若矩阵 $ \boldsymbol{G} $ 满足条件 $(1), (2), (3), (4)$ 中的部分或全部, 则称 $ \boldsymbol{G} $ 为 $ \boldsymbol{A} $ 的广 义逆矩阵, 简称为广义逆.

种类

若 $ \boldsymbol{G} $ 只满足条件 (1), 则 $ \boldsymbol{G} $ 为 $ \boldsymbol{A} $ 的 $ {1} $-逆, 记为 $ \boldsymbol{G} \in \boldsymbol{A}{1} $. 若 $ \boldsymbol{G} $ 只满足条件 (1), (2), 则 $ \boldsymbol{G} $ 为 $ \boldsymbol{A} $ 的 $ {1,2} $-逆, 记为 $ \boldsymbol{G} \in \boldsymbol{A}{1,2} $. 满足条件 (1), (2), (3), (4) 的部分或全部的广义逆矩阵共有 15 类, 即:

$$ \mathrm{C}_{4}^{1}+\mathrm{C}_{4}^{2}+\mathrm{C}_{4}^{3}+\mathrm{C}_{4}^{4}=15 $$

常用的广义逆是以下 5 类:

$$ \boldsymbol{A}\{1\}, \quad \boldsymbol{A}\{1,2\}, \quad \boldsymbol{A}\{1,3\}, \quad \boldsymbol{A}\{1,4\}, \quad \boldsymbol{A}^{+} . $$

注意

  1. 只有 $ \boldsymbol{A}^{+} $是唯一的, 而其他各种广义逆矩阵都不是唯一的.

  2. 当 $\boldsymbol{A}$ 是可逆矩阵时, 它的所有广义逆矩阵都等于 $\boldsymbol{A} ^ {−1}$ .

存在性

  • 定理 : 任意 $ m \times n $ 矩阵 $ A \in \mathbb{C}^{m \times n} $ 都有广义逆矩阵

证明:

设 $ r=\operatorname{rank}(A) $, 则必定存在 $ m $ 阶可逆矩阵 $ P $ 以及 $ n $ 阶可逆矩阵 $ Q $, 使得:

$$ A=P\left(\begin{array}{cc}E_{r} & O \\ O & O\end{array}\right) Q $$

取 $ X=Q^{-1}\left(\begin{array}{cc}E_{r} & X_{1} \\ X_{2} & X_{2} X_{1}\end{array}\right) P^{-1} $ , 其中 $ X_{1} , X_{2} $ 分别是任意 $ r \times(n-r) $ 矩阵以及 $ (m-r) \times r $ 矩阵,则这样的 $ X $ 就是 $ A $ 的广义逆矩阵。

上述证明过程提供了求广义逆矩阵的一种方法,从证明过程中也可以看出广义逆矩阵不一定唯一

对于矩阵 $ A=\left(\begin{array}{ll}1 & 0 \\ 0 & 0\end{array}\right) $ ,有: 对任意的复数 $ a, b , B=\left(\begin{array}{cc}1 & a \\ b & a b\end{array}\right) $ 都是 $ A $ 的广义逆矩阵

广义逆的性质

- 定理:设 $ A \in \mathbb{C}^{m \times n} $, 则: $$ \begin{array}{l} (1) \quad \left(A^{+}\right)^{+}=A ,\\ (2) \quad \left(A^{H}\right)^{+}=\left(A^{+}\right)^{H} ,\\ (3) \quad \left(A^{H} A\right)^{+}=A^{+}\left(A^{H}\right)^{+}=A^{+}\left(A^{+}\right)^{H},\\ (4) \quad \left(A A^{H}\right)^{+}=\left(A^{H}\right)^{+} A^{+}=\left(A^{+}\right)^{H} A^{+} ,\\ (5)\quad A^{+}=A^{H}\left(A A^{H}\right)^{+}=\left(A^{H} A\right)^{+} A^{H} \end{array} $$

证明 : (1) (2) (3) (4) 可以通过定义直接验证, 对于(5)

$$ \begin{array}{l}A^{H}\left(A A^{H}\right)^{+}=A^{H}\left(A^{+}\right)^{H} A^{+}=\left(A^{+} A\right)^{H} A^{+}=A^{+} A A^{+}=A^{+} \\ \left(A^{H} A\right)^{+} A^{H}=A^{+}\left(A^{+}\right)^{H} A^{H}=A^{+}\left(A A^{+}\right)^{H}=A^{+} A A^{+}=A^{+}\end{array} $$

需要注意的是,一般来说, $ (A B)^{+}=B^{+} A^{+} $ 不一定成立

  • 定理:设 $ A \in \mathbb{C}^{m \times n} $ ,则 $ \operatorname{rank}(A)=\operatorname{rank}\left(A^{+}\right) $

    $$ \begin{array}{c} \operatorname{rank}(A)=\operatorname{rank}\left(A A^{+} A\right) \leq \operatorname{rank}\left(A^{+} A\right) \leq \operatorname{rank}(A) ,\\ \operatorname{rank}\left(A^{+}\right)=\operatorname{rank}\left(A^{+} A A^{+}\right) \leq \operatorname{rank}\left(A^{+} A\right) \leq \operatorname{rank}\left(A^{+}\right) \end{array} $$

方程组求解应用

齐次线性方程组的通解

  • 定理:设 $ A \in \mathbb{C}^{m \times n} $,则齐次线性方程组 $ A x=0 $ 的通解为
    $$
    x=y-A^{+} A y=\left(E-A^{+} A\right) y
    $$
    其中 $ y \in \mathbb{C}^{n} $ 是任意的,这样的通解能表示所有的解。

证明:

对任意的 $ y \in \mathbb{C}^{n} $, 有
$$
A\left(y-A^{+} A y\right)=A y-A A^{+} A y=A y-A y=0
$$
从而 $ x=y-A^{+} A y=\left(E-A^{+} A\right) y $ 是齐次线性方程组的解

反过来,对于齐次线性方程组的任意解 $ x_{0} $ ,有 $ A x_{0}=0 $
$$
x_{0}=x_{0}-0=x_{0}-A^{+} A x_{0}=\left(E-A^{+} A\right) x_{0}
$$
从而 $ x=y-A^{+} A y=\left(E-A^{+} A\right) y $ 是齐次线性方程组的通解。

  • 推论: 设 $ A \in \mathbb{C}^{m \times n} $,则齐次线性方程组 $ A x=0 $ 只有零解的充要条件是
    $$
    A^{+} A=E
    $$

非齐次线性方程组有解的充要条件

  • 定理: 设 $ A \in \mathbb{C}^{m \times n}, b \in \mathbb{C}^{m} $, 则线性方程组 $ A x=b $ 有解的充要条件是 $ A A^{+} b=b $

证明:

充分性: 此时 $ x=A^{+} b $ 就是原线性方程组的特解

必要性: 设 $ x_{0} $ 是原线性方程组的一特解,则 $ A x_{0}=b $

则 $ A A^{+} b=A A^{+} A x_{0}=A x_{0}=b $

  • 推论: 设 $ A \in \mathbb{C}^{m \times n}, b \in \mathbb{C}^{m} $ ,若线性方程组 $ A x=b $ 有解,则其通解为
    $$
    x=A^{+} b+y-A^{+} A y
    $$
    其中 $ y \in \mathbb{C}^{n} $ 是任意的,这样的通解能表示所有的解。
例题
  • 设 $ A \in \mathbb{C}^{m \times n}, b \in \mathbb{C}^{m} $ ,则线性方程组 $ A^{H} A x=A^{H} b $ 一定有解,并求出其通解

证:此时

$$ \begin{aligned}\left(A^{H} A\right)\left(A^{H} A\right)^{+} A^{H} b & =A^{H} A A^{+}\left(A^{+}\right)^{H} A^{H} b \\ & =A^{H} A A^{+}\left(A A^{+}\right)^{H} b \\ & =A^{H} A A^{+} A A^{+} b \\ & =A^{H} A A^{+} b \\ & =A^{H}\left(A A^{+}\right)^{H} b \\ & =\left(A A^{+} A\right)^{H} b \\ & =A^{H} b\end{aligned} $$

即 $x=(A^{H} A)+AHb$ 是线性方程组的一组特解,故原方程组有解

特解可以写为:

$$ \begin{aligned}\left(A^{H} A\right)^{+} A^{H} b & =A^{+}\left(A^{+}\right)^{H} A^{H} b \\ & =A^{+}\left(A A^{+}\right)^{H} b \\ & =A^{+} A A^{+} b \\ & =A^{+} b\end{aligned} $$ 而 : $$ \begin{aligned} y-\left(A^{H} A\right)^{+}\left(A^{H} A\right) y & =y-A^{+}\left(A^{+}\right)^{H} A^{H} A y \\ & =y-A^{+}\left(A A^{+}\right)^{H} A y \\ & =y-A^{+} A A^{+} A y \\ & =y-A^{+} A y\end{aligned} $$ 故其通解为 :

$$
x=A^{+} b+y-A^{+} A y
$$
其中 $ y \in \mathbb{C}^{n} $ 是任意的。

从这里也可以看出,两个齐次线性方程组 $ A^{H} A x=0 $ 与 $ A x=0 $ 同解

相容方程组的最小模解

  • 定义: 设 $ A \in \mathbb{C}^{m \times n}, b \in \mathbb{C}^{n} $ ,若线性方程组 $ A x=b $ 有解(从而为相容方程组),则称相容方程组 $ A x=b $ 的所有解 $ x $ 中长度(模) $ |x|=\sqrt{(x, x)}=\sqrt{x^{H} x} $ 最小的解为相容方程组 $ A x=b $ 的最小模解。

相容方程组 $ A x=b $ 的通解为:
$$
x=A^{+} b+y-A^{+} A y
$$
其中 $ y \in \mathbb{C}^{n} $ 是任意的,则有:

$$ \begin{aligned} |x|^2=& \left(A^{+} b+y-A^{+} A y\right)^{H}\left(A^{+} b+y-A^{+} A y\right) \\ = & \left(A^{+} b\right)^{H}\left(A^{+} b\right)+\left(A^{+} b\right)^{H}\left(E-A^{+} A\right) y+ \left(\left(E-A^{+} A\right) y\right)^{H}\left(A^{+} b\right)+\left(y-A^{+} A y\right)^{H}\left(y-A^{+} A y\right)\end{aligned} $$ 而: $$ \begin{aligned}\left(A^{+} b\right)^{H}\left(E-A^{+} A\right) y & =b^{H}\left(\left(A^{+}\right)^{H}-\left(A^{+}\right)^{H}\left(A^{+} A\right)\right) y \\ & =b^{H}\left(\left(A^{+}\right)^{H}-\left(A^{+}\right)^{H}\left(A^{+} A\right)^{H}\right) y \\ & =b^{H}\left(\left(A^{+}\right)^{H}-\left(A^{+} A A^{+}\right)^{H}\right) y \\ & =b^{H}\left(\left(A^{+}\right)^{H}-\left(A^{+}\right)^{H}\right) y \\ & =0\end{aligned} $$ 同理 $ \left(\left(E-A^{+} A\right) y\right)^{H}\left(A^{+} b\right)=0 $ 故: $$ \begin{aligned} & \left(A^{+} b+y-A^{+} A y\right)^{H}\left(A^{+} b+y-A^{+} A y\right) \\ = & \left(A^{+} b\right)^{H}\left(A^{+} b\right)+\left(y-A^{+} A y\right)^{H}\left(y-A^{+} A y\right) \\ \geq & \left(A^{+} b\right)^{H}\left(A^{+} b\right)\end{aligned} $$ 当且仅当 $ y-A^{+} A y=0 $ 时等号成立,这时相容方程组 $ A x=b $ 的最小模解为 $ x=A^{+} b $, 并且最小模解是唯一的。

任意线性方程组的最小二乘解

无解的方程组又可称为"矛盾方程组",矛盾方程组的最小二乘解一般是不唯一的,所有最小二乘解中的极小二范数解是唯一的,我们一般求矛盾方程组的唯一极小二范数最小二乘解。

  • 定义: 设 $ A \in \mathbb{C}^{m \times n}, b \in \mathbb{C}^{m} $ ,线性方程组 $ A x=b $ 可能无解。这时我们称使得长度 $ |A x-b| $ 最小的那个 $ x $ 为线性方程组 $ A x=b $ 的最小二乘解。

    需要注意的是,最小二乘解不一定是方程的解。

  • 定义: 设 $ V $ 是 $ \mathbb{C} $ 上的酉空间, $ x, y \in V $ ,称 $ |x-y| $ 为向量 $ x $ 到向量 $ y $ 的距离,记为 $ d(x, y) $

  • 定义: 设 $ V $ 是 $ \mathbb{C} $ 上的酉空间, $ x \in V , W $ 是 $ V $ 的子空间,称 $ \inf _{y \in W}|x-y| $ 为向量 $ x $ 到子 空间 $ W $ 的距离,记为 $ d(x, W) $

  • 引理: 设 $ V $ 是 $ C $ 上的有限维酉空间, $ x \in V , W $ 是 $ V $ 的子空间,若 $ y_{0} \in W $ 满足 $ x-y_{0} \in W^{\perp} $ ,则 $ \left|x-y_{0}\right|=d(x, W) $

证明:对 $ \forall y \in W $ ,有 $ x-y=x-y_{0}+y_{0}-y $ , $ \left(x-y_{0}\right) \perp\left(y_{0}-y\right) $ ,由勾股定理, $ |x-y|^{2}=\left|x-y_{0}\right|^{2}+\left|y_{0}-y\right|^{2} \geq\left|x-y_{0}\right|^{2} $ 故得证,引理可理解为连接一定点到子空间上的点的连线段中,垂线段最短 设 $ A \in \mathbb{C}^{m \times n}, b \in \mathbb{C}^{m} $ ,现在考虑线性方程组 $ A x=b $ 的最小二乘解。此时 $ \mathbb{C}^{m} $ 是酉空间。设 $ A=\left(\alpha_{1}, \alpha_{2}, \ldots, \alpha_{n}\right) $ 。则 $ W=L\left(\alpha_{1}, \alpha_{2}, \ldots, \alpha_{n}\right) $ 是 $ \mathbb{C}^{m} $ 的子空间。问题转化为求使得 $ \left|b-\left(x_{1} \alpha_{1}+x_{2} \alpha_{2}+\ldots x_{n} \alpha_{n}\right)\right| $二范数最小的那个 $ x=\left(x_{1}, x_{2}, \ldots, x_{n}\right)^{T} $ 此时 $ x_{1} \alpha_{1}+x_{2} \alpha_{2}+\ldots x_{n} \alpha_{n} \in W $ ,由引理,若能使 $ b-\left(x_{1} \alpha_{1}+x_{2} \alpha_{2}+\ldots x_{n} \alpha_{n}\right) \in W^{\perp} $, 则这样的 $ x $ 就是 $ A x=b $ 的最小二乘解 此时由 $ b-\left(x_{1} \alpha_{1}+x_{2} \alpha_{2}+\ldots x_{n} \alpha_{n}\right) \in W^{\perp} $ 立马可以得到 $$ \begin{array}{l}\left(b-\left(x_{1} \alpha_{1}+x_{2} \alpha_{2}+\ldots x_{n} \alpha_{n}\right), \alpha_{1}\right)=0 \\ \left(b-\left(x_{1} \alpha_{1}+x_{2} \alpha_{2}+\ldots x_{n} \alpha_{n}\right), \alpha_{2}\right)=0 \\ \ldots \ldots \\ \left(b-\left(x_{1} \alpha_{1}+x_{2} \alpha_{2}+\ldots x_{n} \alpha_{n}\right), \alpha_{n}\right)=0\end{array} $$ 即 $$ \begin{array}{l}\alpha_{1}^{H}\left(b-\left(x_{1} \alpha_{1}+x_{2} \alpha_{2}+\ldots x_{n} \alpha_{n}\right), \alpha_{1}\right)=0 \\ \alpha_{2}^{H}\left(b-\left(x_{1} \alpha_{1}+x_{2} \alpha_{2}+\ldots x_{n} \alpha_{n}\right), \alpha_{1}\right)=0 \\ \cdots \cdots \\ \alpha_{n}^{H}\left(b-\left(x_{1} \alpha_{1}+x_{2} \alpha_{2}+\ldots x_{n} \alpha_{n}\right), \alpha_{1}\right)=0\end{array} $$ 即 $ A^{H} b-A^{H} A x=0 $ ,即 $ A^{H} A x=A^{H} b $ , 我们已经证明了 $ A^{H} A x=A^{H} b $ 一定有解,其通解为 $ x=A^{+} b+y-A^{+} A y $ ,其中 $ y \in \mathbb{C}^{n} $ 是任意的。 反过来,若 $ x_{0} $ 满足 $ A^{H} A x_{0}=A^{H} b $, 则对任意的 $ x \in \mathbb{C}^{n} $ 由 $A x-b=A x_{0}-b+A\left(x-x_{0}\right)$ 以及内积 $$ \begin{array}{l} \left(A x_{0}-b, A\left(x-x_{0}\right)\right)&=\left(A\left(x-x_{0}\right)\right)^{H}\left(A x_{0}-b\right)\\&=\left(x-x_{0}\right)^{H}\left(A^{H} A x_{0}-A^{H} b\right) \\ &=0 \end{array} $$ 得: $$ |A x-b|^{2}=\left|A x_{0}-b\right|^{2}+\left|A\left(x-x_{0}\right)\right|^{2} \geq\left|A x_{0}-b\right|^{2} $$ 其中等号成立当且仅当 $ A\left(x-x_{0}\right)=0 $ ,从而 $ x_{0} $ 是线性方程组 $ A x=b $ 的最小二乘解。 若 $ x_{1} $ 也是线性方程组 $ A x=b $ 的最小二乘解,则由前面的分析可得 $ A\left(x_{1}-x_{0}\right)=0 $, 从而可推得 $ A^{H} A x_{1}=A^{H} b $ 也成立。

由上述分析可得

  • 定理 :设 $ A \in \mathbb{C}^{m \times n}, b \in \mathbb{C}^{m} $, 则下面两个命题等价
  1. $ x_{0} $ 是线性方程组 $ A x=b $ 的最小二乘解
  2. $A^{H} A x_{0}=A^{H} b $

此时线性方程组 $ A x=b $ 的最小二乘解的表达式为 $ x=A^{+} b+y-A^{+} A y $ ,其中 $ y \in \mathbb{C}^{n} $ 是 任意的。

  • 定义 :设 $ A \in \mathbb{C}^{m \times n}, b \in \mathbb{C}^{m} $,称方程组 $ A x=b $ 的所有最小二乘解 $ x $ 中长度(模) $ |x|=\sqrt{(x, x)}=\sqrt{x^{H} x} $ 最小的 $ x $ 为相容方程组 $ A x=b $ 的最佳最小二乘解。

如同之前的分析,我们可以得到方程组 $ A x=b $ 的最佳最小二乘解为 $ x=A^{+} b $ ,并且最佳最小二乘解是唯一的。

课件资料

参考资料



文章链接:
https://www.zywvvd.com/notes/study/linear-algebra/inverse-matrix/gen-inverse-matrix/


“觉得不错的话,给点打赏吧 ୧(๑•̀⌄•́๑)૭”

微信二维码

微信支付

支付宝二维码

支付宝支付

广义逆矩阵(伪逆矩阵)
https://www.zywvvd.com/notes/study/linear-algebra/inverse-matrix/gen-inverse-matrix/
作者
Yiwei Zhang
发布于
2023年4月3日
许可协议