正定,半正定矩阵

本文最后更新于:2021年11月1日 中午

本文介绍正定矩阵和半正定矩阵。

定义

正定和半正定这两个词的英文分别是positive definite和positive semi-definite,其中,definite是一个形容词,表示“明确的、确定的”等意思。

正定

  • 给定一个大小为$n \times n$ 的实方阵$A$ ,若对于任意长度为$n$的非零向量$x$ ,有$x^TAx>0$ 恒成立,则矩阵$A$是一个正定矩阵。
  • 此时,若$A$为对称方阵,则称$A$为对称正定矩阵。

半正定

  • 给定一个大小为$n \times n$ 的实方阵$A$ ,若对于任意长度为$n$的非零向量$x$ ,有$x^TAx \ge 0$ 恒成立,则矩阵$A$是一个半正定矩阵。
  • 此时,若$A$为对称方阵,则称$A$为对称半正定矩阵。

可以看到半正定矩阵包含了正定矩阵,仅多出了等于零的一种情况,类似于正数和非负数的关系。

性质

以正定矩阵为例,半正定矩阵仅多了等于零的情况。

  • 正定矩阵的行列式恒为正;

  • 实对称矩阵A正定当且仅当A与单位矩阵合同;

  • 若A是正定矩阵,则A的逆矩阵也是正定矩阵;

  • 两个正定矩阵的和是正定矩阵;

  • 正实数与正定矩阵的乘积是正定矩阵。

等价命题

对于n阶实对称矩阵A,下列条件是等价的(以正定矩阵为例):

  • A是正定矩阵;

  • A的一切顺序主子式均为正;

  • A的一切主子式均为正;

  • A的特征值均为正;

  • 存在实可逆矩阵C,使A=C′C;

  • 存在秩为n的m×n实矩阵B,使A=B′B;

  • 存在主对角线元素全为正的实三角矩阵R,使A=R′R 。

协方差矩阵半正定

  • 在概率统计中,多维变量的协方差矩阵是对称矩阵,事实上同时它也是半正定矩阵:

推导

  • 考虑一个由$n$个$m$维向量刻画的分布,即共$n$条数据,每条数据由一个$m$维向量表示:
$$ X = \left[ {\begin{array}{*{20}{c}} {{x_{11}}}&{{x_{12}}}& \cdots &{{x_{1n}}}\\ {{x_{21}}}&{{x_{22}}}&{}&{{x_{2n}}}\\ \vdots &{}& \ddots & \vdots \\ {{x_{m1}}}&{{x_{m2}}}& \cdots &{{x_{mn}}} \end{array}} \right] $$
  • $X$的均值为${\mu _X}$
  • $X$的协方差矩阵为:

$$
\sum\nolimits_X = \frac{1}{n}(X - {\mu _X}){(X - {\mu _X})^T}
$$

  • 协方差矩阵 $\Sigma_{X}$,对其进行SVD分解:

$$
{\Sigma_X} = U \Sigma {V ^ T }
$$

  • 由于 $\Sigma_{X}$ 是对称矩阵,可以得到:

$$
U=V
$$

  • 而且$U$是正交矩阵,有:
$$ U^T{\Sigma _X}U = \Sigma $$ $$ \Sigma = {U^T}(X - {\mu _X}){(X - {\mu _X})^T}U $$ $$ \Sigma = ({U^T}X - {U^T}{\mu _X}){({U^T}X - {U^T}{\mu _X})^T} $$
  • 令$Y = {U^T}X - {U^T}{\mu _X}$:

$$
\Sigma = Y{Y^T}
$$

  • 由于$\Sigma$是特征值为对角线元素的对角阵,因此对角线外元素为0,表示$Y$中向量相互之间不相关。

  • 对于任意一个$\Sigma$中的特征值$\lambda_i$,计算公式为:

$$
{\lambda _ i } = { Y _ i } { Y _ i } ^ T = \sum \limits_ {j = 1} ^n { {Y_{ij} } ^ 2} \ge 0
$$

  • 因此协方差矩阵的特征值非负,是半正定矩阵。

参考资料


本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!