概率论基础 - 7 - 特征函数

本文最后更新于:2021年11月1日 中午

特征函数是随机变量的分布的不同表示形式。

概述

一般而言,对于随机变量$X$的分布,大家习惯用概率密度函数来描述,虽然概率密度函数理解起来很直观,但是确实随机变量的分布还有另外的描述方式,比如特征函数。

  • 特征函数的本质是概率密度函数的泰勒展开

  • 每一个级数表示原始概率密度函数的一个特征

  • 如果两个分布的所有特征都相同,那我们就认为这是两个相同的分布

  • 是描述概率分布的重要特征,期望、方差等概念都是矩的特殊形态

  • 直觉上可以简单理解为:

    • 各阶矩相等 → 各个特征相等 → 分布相同

定义

  • 随机变量$X$ 的特征函数定义为:

$$
\varphi_{X}(t)=E\left[e^{i t X}\right]
$$

  • 针对概率密度函数为$f(x)$的连续随机变量$x$,特征函数写作:
$$ \varphi_x(t)=\int_{-\infty}^{\infty} e^{i t x} f(x) \cdot d x $$
  • 为什么这么定义呢? 首先, $e^{i t X}$ 的泰勒级数为:

$$
e^{i t X}=1+\frac{i t X}{1}-\frac{t^{2} X^{2}}{2 !}+\cdots+\frac{(i t)^{n} X^{n}}{n !}
$$

  • 代入可以推出:
$$ \begin{aligned} \varphi_{X}(t) &=E\left[e^{i t X}\right] \\ &=E\left(1+\frac{i t X}{1}-\frac{t^{2} X^{2}}{2 !}+\cdots+\frac{(i t)^{n} X^{n}}{n !}\right) \\ &=E(1)+E\left(\frac{i t X}{1}\right)-E\left(\frac{t^{2} X^{2}}{2 !}\right)+\cdots+E\left(\frac{(i t)^{n} X^{n}}{n !}\right) \\ &=1+\frac{i t \overbrace{E[X]}^{\text {一阶矩 }}}{1}-\frac{t^{2} \overbrace{E\left[X^{2}\right]}^{\text {二阶矩 }}}{2 !}+\cdots+\frac{(i t)^{n} \overbrace{E\left[X^{n}\right]}^{\text {n阶矩 }}}{n !} \end{aligned} $$
  • 也就是说特征函数包含了分布函数的所有,可以理解为包含了分布的所有特征
  • 之前的结论可以进一步理解为:
    • $\varphi_{X}(t) $相等 → 各阶矩相等 → 各个特征相等 → 分布相同
  • 所以,特征函数其实是随机变量$X$的分布的另外一种描述方式

一些推论

  • 设随机变量$X$的概率密度函数为$f(x)$ ,其特征函数为:
$$ \varphi_x(t)=\int_{-\infty}^{\infty} e^{i t x} f(x) \cdot d x $$

独立变量和的特征函数

  • $Y=X_1+X_2 $,其中$X_1,X_2$相互独立,特征函数:
$$ \begin{array}{l} \varphi_{y}(t)&=\varphi_{x_{1}+x_{2}}(t) \\ &=\iint_{-\infty}^{\infty} e^{i t\left(x_{1}+x_{2}\right)} \cdot f\left(x_{1}\right) \cdot g\left(x_{2}\right) \cdot d x_{1} d x_{2} \\ &=\int_{-\infty}^{\infty} e^{i t x_{1}} f\left(x_{1}\right) d x_{1} \cdot \int_{-\infty}^{\infty} e^{i t x_{2}} g\left(x_{2}\right) d x_{2} \\ &=\varphi_{x_{1}}(t) \cdot \varphi_{x_{2}}(t) \end{array} $$

常数线性变换的特征函数

  • $Y=aX+b$ 的特征函数:
$$ \begin{array}{l} \varphi_{y}(t)&=\varphi_{a x+b}(t)=\int_{-\infty}^{\infty} e^{i t(a x+b)} f(x) d x \\ &=e^{i t b} \int_{-\infty}^{\infty} e^{i(a t) x} f(x) d x \\ &=e^{i t b} \cdot \varphi_{x}(a t) \end{array} $$

标准正态分布的特征函数

  • 设 $X \sim N(0,1)$则其概率密度函数为:
$$ f(x)=\frac{1}{\sqrt{2 \pi}} e^{-\frac{x^{2}}{2}} $$
  • 特征函数为:
$$ \begin{array}{l} \varphi(t)&=\int_{-\infty}^{\infty} e^{i t x} \cdot \frac{1}{\sqrt{2 \pi}} e^{-\frac{x^{2}}{2}} \cdot d x \\ &=e^{-\frac{t^{2}}{2}} \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi}} e^{-\frac{(x-i t)^{2}}{2}} d(x-i t) \\ &=e^{-\frac{t^{2}}{2}} \end{array} $$

特征函数是共轭傅立叶变换

  • 假设某连续随机变量$X$的概率密度函数为$f(x)$,那么可知:

$$
{\rm{E(X) = }}\int\limits_{ - \infty }^{ + \infty } {xf(x)dx}
$$

  • 特征函数为:
$$ \begin{array}{l} {\varphi _X}(t) &= E[{e^{itX}}]\\ &= \int\limits_{ - \infty }^{ + \infty } {{e^{itX}}f(x)dx} \end{array} $$
  • 而$f(x)$的傅立叶变换为:

$$
{\rm{F(X) = }}\int\limits_{ - \infty }^{ + \infty } {f(x)e^{-itx}dx}
$$

  • 二者是共轭关系:

$$
{\varphi _X}(t) = \overline {F(t)}
$$

参考资料


本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!