概率论基础 - 21 - 分布之间的关系

本文最后更新于：2023年12月5日下午

不同概率分布的函数族之间边界是相交的，也就是不同分布在特定条件下可以相互转化，本文介绍相关内容。

伯努利分布和二项分布

二项分布是伯努利分布的单次试验的特例，即单次伯努利试验；
二项分布和伯努利分布的每次试验都只有两个可能的结果；
二项分布每次试验都是互相独立的，每一次试验都可以看作一个伯努利分布。

泊松分布和二项分布

二项分布
$$
P(x)=\frac{n !}{(n-x) ! x !} p^{x} q^{n-x}
$$
泊松分布
$$
\boldsymbol{P}(\boldsymbol{X}=\boldsymbol{x})=\boldsymbol{e}^{-λ} \frac{λ^{x}}{x !} \quad for\quad x=0,1,2, \ldots \ldots
$$

试验次数非常大或者趋近无穷，即 $n → ∞$；
每次试验的成功概率相同且趋近零，即 $p →0$；
$np =λ$ 是有限值。

证明

泊松分布可看成由二项分布的极限得到，记常数 $λ=np$ 则有如下：

$$ \begin{aligned} & \lim _{n \rightarrow \infty, p \rightarrow 0} c_{n}^{k} p^{k}(1-p)^{n-k} \\ = & \lim _{n \rightarrow \infty, p \rightarrow 0} \frac{n(n-1) \cdots(\mathrm{n}+1-\mathrm{k})}{k !} p^{k}(1-p)^{n-k} \\ = & \lim _{n \rightarrow \infty, p \rightarrow 0} \frac{n^{k}}{k !} p^{k}(1-p)^{\frac{\lambda}{p}-k} \\ = & \lim _{n \rightarrow \infty, p \rightarrow 0} \frac{\lambda^{k}}{k !}\left[(1-p)^{\frac{1}{-p}}\right]^{-\lambda} \frac{1}{(1-p)^{k}} \\ = & \lim _{n \rightarrow \infty, p \rightarrow 0} \frac{\lambda^{k}}{k !} e^{-\lambda}\end{aligned} $$

其中用到了一个常用极限：

使用了洛必达法则

$$ \begin{array}{l}\lim _{x \rightarrow 0}(1-x)^{-\frac{1}{x}} \\ =\lim _{x \rightarrow 0} e^{\log (1-x)^{\frac{1}{x}}} \\ =\lim _{x \rightarrow 0} e^{-\frac{1}{x} \log (1-x)} \\ =e^{\lim _{x \rightarrow 0}-\frac{\log (1-x)}{x}} \\ =e^{\lim _{x \rightarrow 0} \frac{1}{1-x}}=e\end{array} $$

也就是说，当二项分布中的试验次数 $n$ 比较大，事件A在一次试验中发生的概率 $p$ 比较小时，二项分布的一个事件发生次数的概率可以用泊松分布的概率来模拟。

正态分布和二项分布

二项分布：
$$
P(x)=\frac{n !}{(n-x) ! x !} p^{x} q^{n-x}
$$
正态分布：

$$ \boldsymbol{f}(\boldsymbol{x})=\frac{1}{\sqrt{2 \pi} \sigma} e^{\left\{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^{2}\right\}} \quad for: -\infty以下条件下，正态分布是二项分布的一种极限形式：

试验次数非常大或者趋近无穷，即 $n → ∞$；
p 和 q 都不是无穷小。

这是棣莫弗-拉普拉斯中心极限定理的内容，该定理是林德贝格-勒维中心极限定理的特例，证明方法可以参照 林德贝格-勒维中心极限定理 的证明过程。

泊松分布和正态分布

泊松分布 $ p(k)=\frac{\lambda^{k}}{k !} e^{-\lambda} $ , 均值和方差都是 $ \lambda $ , 根据斯特林公式，$ k \rightarrow \infty $ 时

$$
k !=\sqrt{2 \pi k}\left(\frac{k}{e}\right)^{k}
$$
令 $ x=\frac{k-\lambda}{\sqrt{\lambda}} $, 和斯特林公式一起带入泊松分布，则

$$ \begin{aligned} p(x) & =\sqrt{\lambda} \frac{\lambda^{\sqrt{\lambda} x+\lambda}}{\sqrt{2 \pi(\sqrt{\lambda} x+\lambda)\left(\frac{\sqrt{\lambda} x+\lambda}{e}\right)^{\sqrt{\lambda} x+\lambda}}} e^{-\lambda} \\ & =\frac{1}{\sqrt{2 \pi}} \cdot \frac{e^{\sqrt{\lambda} x}}{\left(\frac{\sqrt{\lambda} x+\lambda}{\lambda}\right)^{\sqrt{\lambda} x+\lambda+0.5}} \\ & =\frac{1}{\sqrt{2 \pi}} \cdot \frac{e^{\sqrt{\lambda} x}}{e^{(\sqrt{\lambda} x+\lambda+0.5) \ln \left(1+\frac{x}{\sqrt{\lambda}}\right)}} \\ & =\frac{1}{\sqrt{2 \pi}} \exp \left(\sqrt{\lambda} x-(\sqrt{\lambda} x+\lambda+0.5) \ln \left(1+\frac{x}{\sqrt{\lambda}}\right)\right)\end{aligned} $$

多项式级数展开 $ \ln \left(1+\frac{x}{\sqrt{\lambda}}\right) $ ，得 $ \ln \left(1+\frac{x}{\sqrt{\lambda}}\right)=\frac{x}{\sqrt{\lambda}}-\frac{x^{2}}{2 \lambda}+o\left(\frac{x}{\sqrt{\lambda}}\right) $ 。

代入原式

$$ \begin{aligned} p(x) & =\frac{1}{\sqrt{2 \pi}} \exp \left(\sqrt{\lambda} x-(\sqrt{\lambda} x+\lambda+0.5)\left(\frac{x}{\sqrt{\lambda}}-\frac{x^{2}}{2 \lambda}+o\left(\frac{x}{\sqrt{\lambda}}\right)\right)\right) \\ & =\frac{1}{\sqrt{2 \pi}} \exp \left(-\frac{x^{2}}{2}+o\left(\frac{x}{\sqrt{\lambda}}\right)\right)=\frac{1}{\sqrt{2 \pi}} \exp \left(-\frac{x^{2}}{2}\right)\end{aligned} $$