正交-不相关-独立

本文介绍随机变量中正交、不相关、独立的区别和联系。

概述

三者均是描述随机变量之间关系的概念，看似都可以表示两个随机变量的疏远关系，但定义和约束均有不同。

• 考察$m$维随机变量$X,Y$之间的关系。

定义

正交

定义$R(X, Y) = E[XY]$为相关函数：若$R(X, Y)=0$，称$X,Y$正交

不相关

定义 $E[XY] = E[X]E[Y]$，则$X,Y$不相关

• $X,Y$的协方差：

$$
Cov(X,Y)=E[XY]- E[X]E[Y]
$$

不相关也可以用协方差为0表示

• $X,Y$的相关系数：

$$
r(X, Y)=\frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}[X] \operatorname{Var}[Y]}}
$$

不相关也可以用相关系数为0表示

独立

独立一般用他们的概率密度函数来表示。联合分布等于他们各自的独立边缘分布的乘积，则称为独立：

$$
p(X,Y) = p(X)p(Y)
$$

关系

独立 -> 不相关

独立是对变量更严苛的要求，如果两个随机变量独立，则必定不相关，也就是说独立是不相关的充分不必要条件。

• 若已知$X,Y$联合概率密度$f(x, y)$等于二者边缘密度函数$g(x), h(y)$的乘积，则有：

$$ E (X,Y)=\iint x y f(x, y) d x d y=\iint x y g(x) h(y) d x d y=\int x g(x) d x \int y h(y) d y=E (X) E(Y) $$

• 因此独立变量不相关，而相反不相关无法直接推导出独立

不相关 --高斯分布–> 独立

在随机变量服从高斯分布时，不相关可以推导出独立：

• 我们此时考虑稍复杂一些的情况，$X$为$n$维随机变量：

$$
X^T=[x_1,x_2,…,x_n]
$$

• 随机变量之间两两不相关，并且服从高斯分布：

$$ Cov(x_i,x_j)=0,i \ne j $$ $$ x_i \sim N\left(\mu_i, \sigma_i^{2}\right) $$

• 那么此时$X$的联合概率密度函数为：

$$ f\left( {{x_1},{x_x} \ldots ,{x_n}} \right) = \frac{1}{{\sqrt {{{\left( {2\pi } \right)}^n}} {{\left| {\bf{\Sigma }} \right|}^{\frac{1}{2}}}}}{e^{ - \frac{1}{2}{{({\bf{X}} - {\bf{\mu }})}^T}{{\bf{\Sigma }}^{ - 1}}({\bf{X}} - {\bf{\mu }})}} $$

• 其中${\bf{\Sigma } }$为协方差矩阵，因为随机变量之间两两不相关：

$$ {\bf{\Sigma }} = \left( {\begin{array}{*{20}{c}} {\sigma _1^2}&{}&{}&{}\\ {}&{\sigma _2^2}&{}&{}\\ {}&{}& \ddots &{}\\ {}&{}&{}&{\sigma _n^2} \end{array}} \right) $$

• 其中$\sigma_i $为$x_i$的标准差，那么联合概率密度函数可以写为：

$$ \begin{aligned} f\left( {{x_1},{x_x} \ldots ,{x_n}} \right) &= \frac{1}{{\sqrt {{{\left( {2\pi } \right)}^n}} \prod\limits_{i = 1}^n {{\sigma _i}} }}{e^{ - \frac{1}{2}{{({\bf{X}} - {\bf{\mu }})}^T}\left( {\begin{array}{*{20}{c}} {\frac{1}{{\sigma _1^2}}}&{}&{}&{}\\ {}&{\frac{1}{{\sigma _2^2}}}&{}&{}\\ {}&{}& \ddots &{}\\ {}&{}&{}&{\frac{1}{{\sigma _n^2}}}\\ \end{array}} \right)({\bf{X}} - {\bf{\mu }})}}\\ &= \frac{1}{{\sqrt {{{\left( {2\pi } \right)}^n}} \prod\limits_{i = 1}^n {{\sigma _i}} }}{e^{ - \frac{1}{2}[\frac{{{x_1} - {\mu _1}}}{{\sigma _1^2}},\frac{{{x_2} - {\mu _2}}}{{\sigma _2^2}},...,\frac{{{x_n} - {\mu _n}}}{{\sigma _n^2}}]({\bf{X}} - {\bf{\mu }})}}\\ & = \frac{1}{{\sqrt {{{\left( {2\pi } \right)}^n}} \prod\limits_{i = 1}^n {{\sigma _i}} }}{e^{ - \frac{1}{2}\sum\limits_{i = 1}^n {\frac{{{{({x_n} - {\mu _n})}^2}}}{{\sigma _n^2}}} }}\\ & = \prod\limits_{i = 1}^n {\frac{1}{{\sqrt {2\pi } {\sigma _i}}}} {e^{ - \frac{1}{2}\frac{{{{({x_i} - {\mu _i})}^2}}}{{\sigma _i^2}}}} \\ & = \prod\limits_{i = 1}^n {f({x_i})} \end{aligned} $$

• 因此在随机变量服从高斯分布时，不相关与独立等价，互为充要条件。

正交 – 不相关

• 根据定义可以得知： 当$E[X]，E[Y]$至少有一个为0时正交等价于不相关。

参考资料

• http://blog.sciencenet.cn/blog-812827-1096465.html
• https://blog.csdn.net/wjj5881005/article/details/53320403/
• https://www.zhihu.com/question/26583332/answer/33327497
• https://baike.baidu.com/item/不相关随机变量/19126995?fr=aladdin

文章链接：
https://www.zywvvd.com/notes/study/probability/orthogonal-independent-uncorrelation/orthogonal-independent-uncorrelation/