概率论基础 - 1 - 基础概念

本文最后更新于:2021年11月1日 中午

本系列记录概率论基础知识,本文介绍最基本的概率论概念。

概率与分布

条件概率与独立事件

条件概率
  • 已知$A$事件发生的条件下$B$发生的概率,记作$P(B \mid A)$ ,它等于事件$AB$的概率相对于事件$A$的概率,即:

$$
P(B \mid A)=\frac{P(A B)}{P(A)}
$$

  • 其中 ${P(A)} > 0$
条件概率分布的链式法则
  • 对于$n$个随机变量${X_{1}, X_{2}, \cdots, X_{n}}$ ,有:

$$
P\left(X_{1}, X_{2}, \cdots, X_{n}\right)=P\left(X_{1}\right) \prod_{i=2}^{n} P\left(X_{i} \mid X_{1}, \cdots, X_{i} 1\right)
$$

变量相互独立
  • 两个随机变量$X,Y$相互独立的数学描述:

$$
P(X, Y)=P(X) P(Y)
$$

变量相对独立
  • 两个随机变量$X,Y$关于随机变量$Z$条件独立的数学描述:

$$
P(X, Y \mid Z)=P(X \mid Z) P(Y \mid Z)
$$

联合概率分布

联合分布
  • 定义$X$和$Y$的联合分布为:
$$ P(a, b)=P\{X \leq a, Y \leq b\}, \quad-\infty < a , b < + \infty $$
  • $X$的分布可以从联合分布中得到:
$$ P_{X}(a)=P\{X \leq a\}=P\{X \leq a, Y \leq \infty\}=P(a, \infty), \quad-\infty < a < + \infty $$
  • $Y$的分布可以从联合分布中得到:
$$ P_{Y}(b)=P\{Y \leq b\}=P\{X \leq \infty, Y \leq b\}=P(\infty, b), \quad-\infty < b < + \infty $$
联合概率质量函数
  • 当$X$和$Y$都是离散随机变量时, 定义$X$和$Y$的联合概率质量函数为:
$$ p(x, y)=P\{X=x, Y=y\} $$
  • $X$和$Y$的概率质量函数分布为:

$$
p_{X}(x)=\sum_{y} p(x, y) \quad p_{Y}(y)=\sum_{x} p(x, y)
$$

概率密度函数
  • 当$X$和$Y$联合地连续时,即存在函数$p(x,y)$ ,使得对于所有的实数集合$\mathbb{A}$和$\mathbb{B}$满足:
$$ P\{X \in \mathbb{A}, Y \in \mathbb{B}\}=\int_{\mathbb{B}} \int_{\mathbb{A}} p(x, y) d x d y $$
  • 则函数$p(x,y)$称为$X$和$Y$的概率密度函数。
  • $X$和$Y$的联合分布为:
$$ P(a, b)=P\{X \leq a, Y \leq b\}=\int_{-\infty}^{a} \int_{-\infty}^{b} p(x, y) d x d y $$
  • $X$和$Y$的分布函数:

$$
P_{X}(a)=\int_{-\infty}^{a} \int_{-\infty}^{\infty} p(x, y) d x d y=\int_{-\infty}^{a} p_{X}(x) d x
$$

$$
P_{Y}(b)=\int_{\infty}^{\infty} \int_{\infty}^{b} p(x, y) d x d y=\int_{\infty}^{b} p_{Y}(y) d y
$$

  • $X$和$Y$的概率密度函数:

$$
p_{X}(x)=\int_{-\infty}^{\infty} p(x, y) d y
$$

$$
p_{Y}(y)=\int_{-\infty}^{\infty} p(x, y) d x
$$

参考资料