概率论基础 - 1 - 基础概念

本系列记录概率论基础知识，本文介绍最基本的概率论概念。

概率与分布

条件概率与独立事件

条件概率

• 已知$A$事件发生的条件下$B$发生的概率，记作$P(B \mid A)$ ，它等于事件$AB$的概率相对于事件$A$的概率，即：

$$
P(B \mid A)=\frac{P(A B)}{P(A)}
$$

• 其中 ${P(A)} > 0$

条件概率分布的链式法则

• 对于$n$个随机变量${X_{1}, X_{2}, \cdots, X_{n}}$ ，有：

$$
P\left(X_{1}, X_{2}, \cdots, X_{n}\right)=P\left(X_{1}\right) \prod_{i=2}^{n} P\left(X_{i} \mid X_{1}, \cdots, X_{i} 1\right)
$$

变量相互独立

• 两个随机变量$X,Y$相互独立的数学描述：

$$
P(X, Y)=P(X) P(Y)
$$

变量相对独立

• 两个随机变量$X,Y$关于随机变量$Z$条件独立的数学描述：

$$
P(X, Y \mid Z)=P(X \mid Z) P(Y \mid Z)
$$

联合概率分布

联合分布

• 定义$X$和$Y$的联合分布为：

$$ P(a, b)=P\{X \leq a, Y \leq b\}, \quad-\infty < a , b < + \infty $$

• $X$的分布可以从联合分布中得到：

$$ P_{X}(a)=P\{X \leq a\}=P\{X \leq a, Y \leq \infty\}=P(a, \infty), \quad-\infty < a < + \infty $$

• $Y$的分布可以从联合分布中得到：

$$ P_{Y}(b)=P\{Y \leq b\}=P\{X \leq \infty, Y \leq b\}=P(\infty, b), \quad-\infty < b < + \infty $$

联合概率质量函数

• 当$X$和$Y$都是离散随机变量时， 定义$X$和$Y$的联合概率质量函数为：

$$ p(x, y)=P\{X=x, Y=y\} $$

• $X$和$Y$的概率质量函数分布为：

$$
p_{X}(x)=\sum_{y} p(x, y) \quad p_{Y}(y)=\sum_{x} p(x, y)
$$

概率密度函数

• 当$X$和$Y$联合地连续时，即存在函数$p(x,y)$ ，使得对于所有的实数集合$\mathbb{A}$和$\mathbb{B}$满足：

$$ P\{X \in \mathbb{A}, Y \in \mathbb{B}\}=\int_{\mathbb{B}} \int_{\mathbb{A}} p(x, y) d x d y $$

• 则函数$p(x,y)$称为$X$和$Y$的概率密度函数。
• $X$和$Y$的联合分布为：

$$ P(a, b)=P\{X \leq a, Y \leq b\}=\int_{-\infty}^{a} \int_{-\infty}^{b} p(x, y) d x d y $$

• $X$和$Y$的分布函数：

$$
P_{X}(a)=\int_{-\infty}^{a} \int_{-\infty}^{\infty} p(x, y) d x d y=\int_{-\infty}^{a} p_{X}(x) d x
$$

$$
P_{Y}(b)=\int_{\infty}^{\infty} \int_{\infty}^{b} p(x, y) d x d y=\int_{\infty}^{b} p_{Y}(y) d y
$$

• $X$和$Y$的概率密度函数：

$$
p_{X}(x)=\int_{-\infty}^{\infty} p(x, y) d y
$$

$$
p_{Y}(y)=\int_{-\infty}^{\infty} p(x, y) d x
$$

参考资料

• http://www.huaxiaozhuan.com/数学基础/chapters/2_probability.html

文章链接：
https://www.zywvvd.com/notes/study/probability/probability-basic-knowledge/