概率论基础 - 7 - 特征函数

特征函数是随机变量的分布的不同表示形式。

概述

一般而言，对于随机变量$X$的分布，大家习惯用概率密度函数来描述，虽然概率密度函数理解起来很直观，但是确实随机变量的分布还有另外的描述方式，比如特征函数。

• 特征函数的本质是概率密度函数的泰勒展开

• 每一个级数表示原始概率密度函数的一个特征

• 如果两个分布的所有特征都相同，那我们就认为这是两个相同的分布

• 矩是描述概率分布的重要特征，期望、方差等概念都是矩的特殊形态

• 直觉上可以简单理解为：

  • 各阶矩相等 → 各个特征相等 → 分布相同

定义

• 随机变量$X$ 的特征函数定义为：

$$
\varphi_{X}(t)=E\left[e^{i t X}\right]
$$

• 针对概率密度函数为$f(x)$的连续随机变量$x$，特征函数写作：

$$ \varphi_x(t)=\int_{-\infty}^{\infty} e^{i t x} f(x) \cdot d x $$

• 为什么这么定义呢? 首先, $e^{i t X}$ 的泰勒级数为:

$$
e^{i t X}=1+\frac{i t X}{1}-\frac{t^{2} X^{2}}{2 !}+\cdots+\frac{(i t)^{n} X^{n}}{n !}
$$

• 代入可以推出：

$$ \begin{aligned} \varphi_{X}(t) &=E\left[e^{i t X}\right] \\ &=E\left(1+\frac{i t X}{1}-\frac{t^{2} X^{2}}{2 !}+\cdots+\frac{(i t)^{n} X^{n}}{n !}\right) \\ &=E(1)+E\left(\frac{i t X}{1}\right)-E\left(\frac{t^{2} X^{2}}{2 !}\right)+\cdots+E\left(\frac{(i t)^{n} X^{n}}{n !}\right) \\ &=1+\frac{i t \overbrace{E[X]}^{\text {一阶矩 }}}{1}-\frac{t^{2} \overbrace{E\left[X^{2}\right]}^{\text {二阶矩 }}}{2 !}+\cdots+\frac{(i t)^{n} \overbrace{E\left[X^{n}\right]}^{\text {n阶矩 }}}{n !} \end{aligned} $$

• 也就是说特征函数包含了分布函数的所有矩，可以理解为包含了分布的所有特征
• 之前的结论可以进一步理解为：
  • $\varphi_{X}(t) $相等 → 各阶矩相等 → 各个特征相等 → 分布相同
• 所以，特征函数其实是随机变量$X$的分布的另外一种描述方式

一些推论

• 设随机变量$X$的概率密度函数为$f(x)$ ，其特征函数为：

$$ \varphi_x(t)=\int_{-\infty}^{\infty} e^{i t x} f(x) \cdot d x $$

独立变量和的特征函数

• $Y=X_1+X_2 $，其中$X_1,X_2$相互独立，特征函数：

$$ \begin{array}{l} \varphi_{y}(t)&=\varphi_{x_{1}+x_{2}}(t) \\ &=\iint_{-\infty}^{\infty} e^{i t\left(x_{1}+x_{2}\right)} \cdot f\left(x_{1}\right) \cdot g\left(x_{2}\right) \cdot d x_{1} d x_{2} \\ &=\int_{-\infty}^{\infty} e^{i t x_{1}} f\left(x_{1}\right) d x_{1} \cdot \int_{-\infty}^{\infty} e^{i t x_{2}} g\left(x_{2}\right) d x_{2} \\ &=\varphi_{x_{1}}(t) \cdot \varphi_{x_{2}}(t) \end{array} $$

常数线性变换的特征函数

• $Y=aX+b$ 的特征函数：

$$ \begin{array}{l} \varphi_{y}(t)&=\varphi_{a x+b}(t)=\int_{-\infty}^{\infty} e^{i t(a x+b)} f(x) d x \\ &=e^{i t b} \int_{-\infty}^{\infty} e^{i(a t) x} f(x) d x \\ &=e^{i t b} \cdot \varphi_{x}(a t) \end{array} $$

标准正态分布的特征函数

• 设 $X \sim N(0,1)$则其概率密度函数为：

$$ f(x)=\frac{1}{\sqrt{2 \pi}} e^{-\frac{x^{2}}{2}} $$

• 特征函数为：

$$ \begin{array}{l} \varphi(t)&=\int_{-\infty}^{\infty} e^{i t x} \cdot \frac{1}{\sqrt{2 \pi}} e^{-\frac{x^{2}}{2}} \cdot d x \\ &=e^{-\frac{t^{2}}{2}} \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi}} e^{-\frac{(x-i t)^{2}}{2}} d(x-i t) \\ &=e^{-\frac{t^{2}}{2}} \end{array} $$

特征函数是共轭傅立叶变换

• 假设某连续随机变量$X$的概率密度函数为$f(x)$，那么可知：

$$
{\rm{E(X) = }}\int\limits_{ - \infty }^{ + \infty } {xf(x)dx}
$$

• 特征函数为：

$$ \begin{array}{l} {\varphi _X}(t) &= E[{e^{itX}}]\\ &= \int\limits_{ - \infty }^{ + \infty } {{e^{itX}}f(x)dx} \end{array} $$

• 而$f(x)$的傅立叶变换为：

$$
{\rm{F(X) = }}\int\limits_{ - \infty }^{ + \infty } {f(x)e^{-itx}dx}
$$

• 二者是共轭关系：

$$
{\varphi _X}(t) = \overline {F(t)}
$$

参考资料

• https://www.zhihu.com/question/23686709/answer/376439033

• https://www.zhihu.com/question/25956080/answer/1375064657

文章链接：
https://www.zywvvd.com/notes/study/probability/Characteristic-Function/Characteristic-Function/