概率论基础 - 10 - 常见概率分布

本文最后更新于:2022年8月5日 晚上

本文记录常见的概率分布。

基础概念

probability mass function:PMF

  • 概率质量函数(离散随机变量密度函数)
  • 和为1

probability density function:PDF

  • 概率密度函数(连续随机变量)
  • 积分为1

常见分布

均匀分布

离散随机变量的均匀分布
  • 假设 $ X $ 有 $ k $ 个取值: $ x_{1}, x_{2}, \cdots, x_{k} $, 则均匀分布的概率密度函数( probability mass function:PMF )为:

$$
p\left(X=x_{i}\right)=\frac{1}{k}, \quad i=1,2, \cdots, k
$$

连续随机变量的均匀分布
  • 假设 $ X $ 在 $ [\mathrm{a}, \mathrm{b}] $ 上均匀分布,则其概率密度函数( probability density function: PDF )为:
$$ p(X=x)=\left\{\begin{array}{ll} 0, & x \notin[a, b] \\ \frac{1}{b-a}, & x \in[a, b] \end{array}\right. $$
  • 期望:
$$ \begin{array}{l} \mu &= \int_a^b {\frac{1}{{b - a}}xdx} \\ &= \frac{{{b^2} - {a^2}}}{{2(b - a)}}\\ &= \frac{{b - a}}{2} \end{array} $$
  • 方差:
$$ \begin{array}{l} {\sigma ^2} &= \int_a^b {\frac{1}{{b - a}}{{(x - \mu )}^2}dx} \\ &= \frac{1}{{3(b - a)}}\int_a^b {d{{(x - \mu )}^3}} \\ &= \frac{1}{{3(b - a)}}[{(\frac{{b - a}}{2})^3} - {(\frac{{a - b}}{2})^3}]\\ &= \frac{{{{(b - a)}^2}}}{{12}} \end{array} $$

伯努利分布

  1. 伯努利分布:参数为 $ \phi \in[0,1]_{\circ} $ 随机变量 $ X \in{0,1} $ 。
  • 概率分布函数: $ p(X=x)=\phi{x}(1-\phi){1-x}, x \in{0,1} $
  • 期望: $ \mathbb{E}[X]=\phi $
  • 方差: $ \operatorname{Var}[X]=\phi(1-\phi) $
  1. categorical 分布:它是二项分布的推广, 也称作 multinoulli 分布。假设随机变量 $ X \in{1,2, \cdots, K} $, 其概率分布函数为:
$$ \begin{array}{c} p(X=1)=\theta_{1} \\ p(X=2)=\theta_{2} \\ \vdots \\ p(X=K-1)=\theta_{K-1} \\ p(X=K)=1-\sum_{i=1}^{K-1} \theta_{i} \end{array} $$ ​

​ 其中 $ \theta_{i} $ 为参数, 它满足 $ \theta_{i} \in[0,1] $, 且 $ \sum_{i=1}^{K-1} \theta_{i} \in[0,1] $ 。

二项分布

  1. 假设试验只有两种结果:成功的概率为 $ \phi $, 失败的概率为 $ 1-\phi_{\circ} $ 则二项分布描述了:独立重复地进行 $ n $ 次 试验中,成功 $ x $ 次的概率。
  • 概率质量函数:
    $$
    p(X=x)=\frac{n !}{x !(n-x) !} \phi{x}(1-\phi){n-x}, x \in{0,1, \cdots, n}
    $$
    • 期望: $ \mathbb{E}[X]=n \phi_{\circ} $
    • 方差: $ \operatorname{Var}[X]=n \phi(1-\phi) $

参考资料


概率论基础 - 10 - 常见概率分布
https://www.zywvvd.com/notes/study/probability/distributions/distributions/distributions/
作者
Yiwei Zhang
发布于
2021年4月14日
许可协议