概率论基础 - 3 - 方差

本文最后更新于：2024年5月7日下午

本文介绍方差。

方差

定义

数学期望(mean)（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和，是最基本的数学特征之一。它反映随机变量平均取值的大小。 ——百度百科

对随机变量$X$，若$\mathbb{E}\left[(X-\mathbb{E}[X])^{2}\right]$存在，则称它为$X$的方差，记作 $Var[X]$。
$$ \begin{array}{c} Var(X)&=&\mathbb{E}\left[(X-\mathbb{E}[X])^{2}\right]\\ &=& \mathbb{E}(X^2-2X\mathbb{E}[X]+\mathbb{E}^2[X])\\ &=&\mathbb{E}(X^2)-\mathbb{E}^2[X] \end{array} $$
$X$的标准差为方差的开平方：$\sigma=\sqrt{\operatorname{Var}[X]}$
- 方差度量了随机变量$X$与期望值偏离的程度，衡量了$X$取值分散程度的一个尺度。
对于一个期望为$\mu$ ，方差为$\sigma^2$的随机变量$X$ ，随机变量 $X^{*}=\frac{X-\mu}{\sigma}$ 的数学期望为0，方差为1。称$X^*$为$X$的标准化变量

性质

常数的方差恒为 0
对常数$C$，有：

$$
\operatorname{Var}[C X]=C^{2} \operatorname{Var}[X]
$$

对两个随机变量$X,Y$，有：

$$
\operatorname{Var}[X+Y]=\operatorname{Var}[X]+\operatorname{Var}[Y]+2 \mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])]
$$

当$X,Y$相互独立时，有：

$$
\operatorname{Var}[X+Y]=\operatorname{Var}[X]+\operatorname{Var}[Y]
$$

可以推广至任意有限多个相互独立的随机变量之和的情况。

样本方差的均值估计

假设$X$为独立同分布的一组随机变量，总体为$M$，随机抽取$N$个随机变量构成一个样本，$\mathrm{E}\left(\mathrm{X}_{\mathrm{i}}\right)=\mu$和$\mathrm{D}\left(\mathrm{X}_{\mathrm{i}}\right)=\sigma^{2}$是总体的均值和方差, 是常数。

$\overline{\mathrm{X}}, \mathrm{S}^{2}$是样本的均值和方差，由于样本是随机抽取的，$\overline{\mathrm{X}}, \mathrm{S}^{2}$也是随机的。

实际工作中，总体均数难以得到时，应用样本统计量代替总体参数。

我们接下来讨论用样本统计量代替总体样本参数会得到什么样的均值和方差结果。

样本均值$\overline{\mathrm{X}}$

考虑$\overline{\mathrm{X}}$的均值：

$$ \mathrm{E}(\overline{\mathrm{X}})=\mathrm{E}\left(\frac{1}{\mathrm{n}} \sum_{\mathrm{i}=1}^{\mathrm{n}} \mathrm{X}_{\mathrm{i}}\right)=\frac{1}{\mathrm{n}} \sum_{\mathrm{i}=1}^{\mathrm{n}} \mathrm{E}\left(\mathrm{X}_{\mathrm{i}}\right)=\frac{1}{\mathrm{n}} \times \mathrm{nE}\left(\mathrm{X}_{\mathrm{i}}\right)=\mu $$

考虑$\overline{\mathrm{X}}$的方差：

$$ \mathrm{D}(\overline{\mathrm{X}})=\mathrm{D}\left(\frac{1}{\mathrm{n}} \sum_{\mathrm{i}=1}^{\mathrm{n}} \mathrm{X}_{\mathrm{i}}\right)=\frac{1}{\mathrm{n}^{2}} \sum_{\mathrm{i}=1}^{\mathrm{n}} \mathrm{D}\left(\mathrm{X}_{\mathrm{i}}\right)=\frac{\sigma^{2}}{\mathrm{n}} $$

样本方差$S^2$

考虑$S^2$的均值：

$$ \begin{array}{l} \mathrm{E}\left(\mathrm{S}^{2}\right)&=\mathrm{E}\left[\frac{1}{\mathrm{n}} \sum_{\mathrm{i}=1}^{\mathrm{n}}\left(\mathrm{X}_{\mathrm{i}}-\overline{\mathrm{X}}\right)^{2}\right]\\ &=\frac{1}{\mathrm{n}} \mathrm{E}\left[\sum_{\mathrm{i}=1}^{\mathrm{n}}\left(\mathrm{X}_{\mathrm{i}}^{2}-2 \mathrm{X}_{\mathrm{i}} \overline{\mathrm{X}}+\overline{\mathrm{X}}^{2}\right)\right] \\ &=\frac{1}{\mathrm{n}} \mathrm{E}\left[\sum_{\mathrm{i}=1}^{\mathrm{n}}\left(\mathrm{X}_{\mathrm{i}}^{2}\right)\right]-\frac{1}{\mathrm{n}} \mathrm{E}\left(2 \overline{\mathrm{X}} \times \mathrm{n} \overline{\mathrm{X}}-\mathrm{n} \overline{\mathrm{X}}^{2}\right)\\ &=\frac{1}{\mathrm{n}} \sum_{\mathrm{i}=1}^{\mathrm{n}} \mathrm{E}\left(\mathrm{X}_{i}^{2}\right)-\mathrm{E}\left(\overline{\mathrm{X}}^{2}\right) \\ \end{array} $$

根据样本方差计算公式：

$$
D({X_i}) =E(X_i^2) - {E^2}({X_i}) = {\sigma ^2}
$$

得：

$$
E(X_i^2) = {E^2}({X_i}) + {\sigma ^2} = {\mu ^2} + {\sigma ^2}
$$

根据$\overline{\mathrm{X}}$的方差推导结果：

$$ \begin{array}{l} {\rm{D}}(\overline {\rm{X}} ) = E({\overline {\rm{X}} ^2}) - {E^2}(\overline {\rm{X}} ) = \frac{{{\sigma ^2}}}{{\rm{n}}}\\ E({\overline {\rm{X}} ^2}) = {E^2}(\overline {\rm{X}} ) + \frac{{{\sigma ^2}}}{{\rm{n}}}=\mu^2+\frac{{{\sigma^2}}}{{\rm{n}}} \end{array} $$

将上述结果带入$E(S^2)$计算过程：

$$ \begin{array}{l} {\rm{E}}\left( {{{\rm{S}}^2}} \right) &= \frac{1}{{\rm{n}}}\sum\limits_{{\rm{i}} = 1}^{\rm{n}} {\rm{E}} \left( {{\rm{X}}_i^2} \right) - {\rm{E}}\left( {{{\overline {\rm{X}} }^2}} \right)\\ &= \frac{1}{n} \cdot n({\mu ^2} + {\sigma ^2}) - ({\mu ^2} + \frac{{{\sigma ^2}}}{{\rm{n}}})\\ &= {\mu ^2} + {\sigma ^2} - {\mu ^2} - \frac{{{\sigma ^2}}}{{\rm{n}}}\\ &= \frac{{n - 1}}{n}{\sigma ^2} \end{array} $$

也就是说样本方差的期望并不等于总体样本的方差，这个估计$E(S^2)$被称为样本方差的有偏估计
如果想求样本方差的无偏估计，需要乘上一个系数：

$$ \frac{\mathrm{n}}{\mathrm{n}-1} \mathrm{~S}^{2}=\frac{1}{\mathrm{n}-1} \sum_{\mathrm{i}=1}^{\mathrm{n}}\left(\mathrm{X}_{\mathrm{i}}-\overline{\mathrm{X}}\right)^{2}=\sigma^2 $$