正交-不相关-独立

本文最后更新于:2022年8月10日 上午

本文介绍随机变量中正交、不相关、独立的区别和联系。

概述

三者均是描述随机变量之间关系的概念,看似都可以表示两个随机变量的疏远关系,但定义和约束均有不同。

  • 考察$m$维随机变量$X,Y$之间的关系。

定义

正交

定义$R(X, Y) = E[XY]$为相关函数:若$R(X, Y)=0$,称$X,Y$正交

不相关

定义 $E[XY] = E[X]E[Y]$,则$X,Y$不相关

  • $X,Y$的协方差:

$$
Cov(X,Y)=E[XY]- E[X]E[Y]
$$

不相关也可以用协方差为0表示

  • $X,Y$的相关系数:

$$
r(X, Y)=\frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}[X] \operatorname{Var}[Y]}}
$$

不相关也可以用相关系数为0表示

独立

独立一般用他们的概率密度函数来表示。联合分布等于他们各自的独立边缘分布的乘积,则称为独立:

$$
p(X,Y) = p(X)p(Y)
$$

关系

独立 -> 不相关

独立是对变量更严苛的要求,如果两个随机变量独立,则必定不相关,也就是说独立是不相关的充分不必要条件。

  • 若已知$X,Y$联合概率密度$f(x, y)$等于二者边缘密度函数$g(x), h(y)$的乘积,则有:
$$ E (X,Y)=\iint x y f(x, y) d x d y=\iint x y g(x) h(y) d x d y=\int x g(x) d x \int y h(y) d y=E (X) E(Y) $$
  • 因此独立变量不相关,而相反不相关无法直接推导出独立

不相关 --高斯分布–> 独立

在随机变量服从高斯分布时,不相关可以推导出独立:

  • 我们此时考虑稍复杂一些的情况,$X$为$n$维随机变量:

$$
X^T=[x_1,x_2,…,x_n]
$$

  • 随机变量之间两两不相关,并且服从高斯分布:
$$ Cov(x_i,x_j)=0,i \ne j $$ $$ x_i \sim N\left(\mu_i, \sigma_i^{2}\right) $$
  • 那么此时$X$的联合概率密度函数为:
$$ f\left( {{x_1},{x_x} \ldots ,{x_n}} \right) = \frac{1}{{\sqrt {{{\left( {2\pi } \right)}^n}} {{\left| {\bf{\Sigma }} \right|}^{\frac{1}{2}}}}}{e^{ - \frac{1}{2}{{({\bf{X}} - {\bf{\mu }})}^T}{{\bf{\Sigma }}^{ - 1}}({\bf{X}} - {\bf{\mu }})}} $$
  • 其中${\bf{\Sigma } }$为协方差矩阵,因为随机变量之间两两不相关:
$$ {\bf{\Sigma }} = \left( {\begin{array}{*{20}{c}} {\sigma _1^2}&{}&{}&{}\\ {}&{\sigma _2^2}&{}&{}\\ {}&{}& \ddots &{}\\ {}&{}&{}&{\sigma _n^2} \end{array}} \right) $$
  • 其中$\sigma_i $为$x_i$的标准差,那么联合概率密度函数可以写为:
$$ \begin{aligned} f\left( {{x_1},{x_x} \ldots ,{x_n}} \right) &= \frac{1}{{\sqrt {{{\left( {2\pi } \right)}^n}} \prod\limits_{i = 1}^n {{\sigma _i}} }}{e^{ - \frac{1}{2}{{({\bf{X}} - {\bf{\mu }})}^T}\left( {\begin{array}{*{20}{c}} {\frac{1}{{\sigma _1^2}}}&{}&{}&{}\\ {}&{\frac{1}{{\sigma _2^2}}}&{}&{}\\ {}&{}& \ddots &{}\\ {}&{}&{}&{\frac{1}{{\sigma _n^2}}}\\ \end{array}} \right)({\bf{X}} - {\bf{\mu }})}}\\ &= \frac{1}{{\sqrt {{{\left( {2\pi } \right)}^n}} \prod\limits_{i = 1}^n {{\sigma _i}} }}{e^{ - \frac{1}{2}[\frac{{{x_1} - {\mu _1}}}{{\sigma _1^2}},\frac{{{x_2} - {\mu _2}}}{{\sigma _2^2}},...,\frac{{{x_n} - {\mu _n}}}{{\sigma _n^2}}]({\bf{X}} - {\bf{\mu }})}}\\ & = \frac{1}{{\sqrt {{{\left( {2\pi } \right)}^n}} \prod\limits_{i = 1}^n {{\sigma _i}} }}{e^{ - \frac{1}{2}\sum\limits_{i = 1}^n {\frac{{{{({x_n} - {\mu _n})}^2}}}{{\sigma _n^2}}} }}\\ & = \prod\limits_{i = 1}^n {\frac{1}{{\sqrt {2\pi } {\sigma _i}}}} {e^{ - \frac{1}{2}\frac{{{{({x_i} - {\mu _i})}^2}}}{{\sigma _i^2}}}} \\ & = \prod\limits_{i = 1}^n {f({x_i})} \end{aligned} $$
  • 因此在随机变量服从高斯分布时,不相关与独立等价,互为充要条件。

正交 – 不相关

  • 根据定义可以得知: 当$E[X],E[Y]$至少有一个为0时正交等价于不相关。

参考资料


正交-不相关-独立
https://www.zywvvd.com/notes/study/probability/orthogonal-independent-uncorrelation/orthogonal-independent-uncorrelation/
作者
Yiwei Zhang
发布于
2021年3月12日
许可协议