概率论基础 - 10 - 常见概率分布

本文最后更新于：2023年12月5日下午

本文记录常见的概率分布。

基础概念

probability mass function:PMF

概率质量函数（离散随机变量密度函数）
和为1

probability density function：PDF

概率密度函数（连续随机变量）
积分为1

常见分布

均匀分布

离散随机变量的均匀分布

假设 $ X $ 有 $ k $ 个取值: $ x_{1}, x_{2}, \cdots, x_{k} $, 则均匀分布的概率密度函数( probability mass function:PMF )为:

$$
p\left(X=x_{i}\right)=\frac{1}{k}, \quad i=1,2, \cdots, k
$$

连续随机变量的均匀分布

假设 $ X $ 在 $ [\mathrm{a}, \mathrm{b}] $ 上均匀分布，则其概率密度函数( probability density function: PDF )为:

$$ p(X=x)=\left\{\begin{array}{ll} 0, & x \notin[a, b] \\ \frac{1}{b-a}, & x \in[a, b] \end{array}\right. $$

期望：

$$ \begin{array}{l} \mu &= \int_a^b {\frac{1}{{b - a}}xdx} \\ &= \frac{{{b^2} - {a^2}}}{{2(b - a)}}\\ &= \frac{{b - a}}{2} \end{array} $$

方差：

$$ \begin{array}{l} {\sigma ^2} &= \int_a^b {\frac{1}{{b - a}}{{(x - \mu )}^2}dx} \\ &= \frac{1}{{3(b - a)}}\int_a^b {d{{(x - \mu )}^3}} \\ &= \frac{1}{{3(b - a)}}[{(\frac{{b - a}}{2})^3} - {(\frac{{a - b}}{2})^3}]\\ &= \frac{{{{(b - a)}^2}}}{{12}} \end{array} $$

伯努利分布

伯努利分布：参数为 $ \phi \in[0,1]_{\circ} $ 随机变量 $ X \in{0,1} $ 。

概率分布函数： $ p(X=x)=\phi^{x}(1-\phi){1-x}, x \in{0,1} $
期望: $ \mathbb{E}[X]=\phi $
方差: $ \operatorname{Var}[X]=\phi(1-\phi) $

categorical 分布：它是二项分布的推广, 也称作 multinoulli 分布。假设随机变量 $ X \in{1,2, \cdots, K} $, 其概率分布函数为:

$$ \begin{array}{c} p(X=1)=\theta_{1} \\ p(X=2)=\theta_{2} \\ \vdots \\ p(X=K-1)=\theta_{K-1} \\ p(X=K)=1-\sum_{i=1}^{K-1} \theta_{i} \end{array} $$

其中 $ \theta_{i} $ 为参数, 它满足 $ \theta_{i} \in[0,1] $, 且 $ \sum_{i=1}^{K-1} \theta_{i} \in[0,1] $ 。

二项分布

假设试验只有两种结果：成功的概率为 $ \phi $, 失败的概率为 $ 1-\phi_{\circ} $ 则二项分布描述了：独立重复地进行 $ n $ 次试验中，成功 $ x $ 次的概率。

概率质量函数:
$$
p(X=x)=\frac{n !}{x !(n-x) !} \phi^{x}(1-\phi){n-x}, x \in{0,1, \cdots, n}
$$
- 期望: $ \mathbb{E}[X]=n \phi_{\circ} $
- 方差: $ \operatorname{Var}[X]=n \phi(1-\phi) $