本文最后更新于：2023年12月5日 下午
本文介绍正定矩阵和半正定矩阵。
定义
正定和半正定这两个词的英文分别是positive definite和positive semi-definite，其中，definite是一个形容词，表示“明确的、确定的”等意思。
正定
- 给定一个大小为$n \times n$ 的实方阵$A$ ，若对于任意长度为$n$的非零向量$x$ ，有$x^TAx>0$ 恒成立，则矩阵$A$是一个正定矩阵。
- 此时，若$A$为对称方阵，则称$A$为对称正定矩阵。
半正定
- 给定一个大小为$n \times n$ 的实方阵$A$ ，若对于任意长度为$n$的非零向量$x$ ，有$x^TAx \ge 0$ 恒成立，则矩阵$A$是一个半正定矩阵。
- 此时，若$A$为对称方阵，则称$A$为对称半正定矩阵。
可以看到半正定矩阵包含了正定矩阵，仅多出了等于零的一种情况，类似于正数和非负数的关系。
性质
以正定矩阵为例，半正定矩阵仅多了等于零的情况。
-
正定矩阵的行列式恒为正；
-
实对称矩阵A正定当且仅当A与单位矩阵合同；
-
若A是正定矩阵，则A的逆矩阵也是正定矩阵；
-
两个正定矩阵的和是正定矩阵；
-
正实数与正定矩阵的乘积是正定矩阵。
等价命题
对于n阶实对称矩阵A，下列条件是等价的（以正定矩阵为例）：
-
A是正定矩阵；
-
A的一切顺序主子式均为正；
-
A的一切主子式均为正；
-
A的特征值均为正；
-
存在实可逆矩阵C，使A=C′C；
-
存在秩为n的m×n实矩阵B，使A=B′B；
-
存在主对角线元素全为正的实三角矩阵R，使A=R′R 。
协方差矩阵半正定
- 在概率统计中，多维变量的协方差矩阵是对称矩阵，事实上同时它也是半正定矩阵：
推导
- 考虑一个由$n$个$m$维向量刻画的分布，即共$n$条数据，每条数据由一个$m$维向量表示：
- $X$的均值为${\mu _X}$
- $X$的协方差矩阵为:
$$
\sum\nolimits_X = \frac{1}{n}(X - {\mu _X}){(X - {\mu _X})^T}
$$
- 协方差矩阵 $\Sigma_{X}$，对其进行SVD分解：
$$
{\Sigma_X} = U \Sigma {V ^ T }
$$
- 由于 $\Sigma_{X}$ 是对称矩阵，可以得到：
$$
U=V
$$
- 而且$U$是正交矩阵，有：
- 令$Y = {U^T}X - {U^T}{\mu _X}$：
$$
\Sigma = Y{Y^T}
$$
-
由于$\Sigma$是特征值为对角线元素的对角阵，因此对角线外元素为0，表示$Y$中向量相互之间不相关。
-
对于任意一个$\Sigma$中的特征值$\lambda_i$，计算公式为：
$$
{\lambda _ i } = { Y _ i } { Y _ i } ^ T = \sum \limits_ {j = 1} ^n { {Y_{ij} } ^ 2} \ge 0
$$
- 因此协方差矩阵的特征值非负，是半正定矩阵。
参考资料
文章链接：
https://www.zywvvd.com/notes/study/linear-algebra/cov-pos-sem/cov-pos-sem/
“觉得不错的话，给点打赏吧 ୧(๑•̀⌄•́๑)૭”
微信支付
支付宝支付