矩估计

本文最后更新于：2024年1月14日晚上

本文介绍矩估计的思想。

参数估计

设总体 $ X $ 的分布函数的形式已知，但它的一个或多个参数末知，借助于总体的一个样本来估计总体末知参数的值的问题称为参数的点估计问题。

$ F(x ; \theta) $ 表示在待估参数 $ \theta $ 下的一个分布函数。 $ f(x ; \theta), p(x ; \theta) $ 同理。

矩

设 $ X $ 是一随机变量，若 $ E\left(X^{k}\right) $ 存在，则称它为 $ X $ 的 $ k $ 阶原点矩，简称 $ k $ 阶矩。
我们称 $ A_{k}=\frac{1}{n} \sum_{i=1}^{n} X_{i}^{k} $ 为样本 $ k $ 阶矩。
样本 $ k $ 阶矩 $ A_{k} $ 是 $ k $ 阶总体矩 $ \mu_{k}=E\left(X^{k}\right) $ 的无偏估计量，这也正是矩估计法的原理。

设 $ X $ 为连续型随机变量, 概率密度为 $ f\left(x ; \theta_{1}, \cdots, \theta_{k}\right) ; $ 或 $ X $ 为离散型随机变量，其分布律为 $ P{X=x}=p\left(x ; \theta_{1}, \cdots, \theta_{k}\right) $ 。 $ \theta_{1}, \cdots, \theta_{k} $ 为待估参数， $ X_{1}, \cdots, X_{n} $ 是来自 $ X $ 的样本。假设总体 $ X $的前$k$阶矩为：

连续型

$$ \mu_{l}=E\left(X^{l}\right)=\int_{-\infty}^{\infty} x^{l} f\left(x ; \theta_{1}, \cdots, \theta_{k}\right) d x $$

离散型

$$
\mu_{l}=E\left(X^{l}\right)=\sum x^{l} p\left(x ; \theta_{1}, \cdots, \theta_{k}\right)
$$

通过式子可以看出，前 $ k $ 阶矩是对于 $ \theta_{1}, \cdots, \theta $ 的函数。而样本 $ k $ 阶矩是 $ k $ 阶矩的无偏估计，故我们可以得到思路：

假设我们有$ k $个待估参数，连立1阶矩、2阶矩、直到$ k $ 阶矩，我们就得到了$ k $个方程，$ k $个未知量（待估参数)；
解得每个待估参数，接着用样本 $ k $ 阶矩替换 $ k $ 阶矩即完成估计。

例

问设总体X在$[a,b]$上服从均匀分布，$X_1,…,X_n$是来自X的样本，试求$a,b$的矩估计量。

解：

有两个末知量, 故我们需要列出 1 阶矩和 2 阶矩：

$$ \left\{\begin{array}{c} \mu_{1}=E(X)=(a+b) / 2 \\ \mu_{2}=E\left(X^{2}\right)=D(X)+[E(X)]^{2}=\frac{(b-a)^{2}}{12}+\frac{(a+b)^{2}}{4} \end{array}\right. $$

解得：

$$ \left\{\begin{array}{l} a=\mu_{1}-\sqrt{3\left(\mu_{2}-\mu_{1}^{2}\right)} \\ b=\mu_{1}+\sqrt{3\left(\mu_{2}-\mu_{1}^{2}\right)} \end{array}\right. $$

由于样本 $ k $ 阶矩是 $ k $ 阶矩的无偏估计量，故用 $ A_{1}, A_{2} $ 代替 $ \mu_{1}, \mu_{2} $ 得到 $ a, b $ 的矩估计量为：

$$ \left\{\begin{array}{c}A_{1}=\frac{1}{n} \sum_{i=1}^{n} X_{i}=\bar{X} \\ A_{2}=\frac{1}{n} \sum_{i=1}^{n} X_{i}^{2}\end{array}\right. $$ $$ \left\{\begin{array}{l}a=\bar{X}-\sqrt{3\left(\frac{1}{n} \sum_{i=1}^{n} X_{i}^{2}-\bar{X}^{2}\right)}=\bar{X}-\sqrt{\frac{3}{n} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}} \\ b=\bar{X}+\sqrt{3\left(\frac{1}{n} \sum_{i=1}^{n} X_{i}^{2}-\bar{X}^{2}\right)}=\bar{X}+\sqrt{\frac{3}{n} \sum_{i=1}^{n}\left(X_{i}-\bar{X})^2\right.}\end{array}\right. $$