Fisher 信息与精度下界

本文记录 Fisher 信息（Fisher Information）的定义、等价形式、在高斯模型下的计算，以及它作为参数估计精度下界（Cramér–Rao 不等式）的含义，从温度计和抛硬币的例子出发逐步推导。

参数估计与两个问题

设要估计未知参数 $\theta$，观测到带噪随机量 $X=h(\theta)+\mu$，做 $n$ 次观测得到 $x_1,\dots,x_n$。参数估计面对两个问题：用什么方法估（矩估计、最小二乘、最大似然、卡尔曼滤波等），以及需要观测多少次。前者算法众多，后者常被忽略。Fisher 信息 $I(\theta)$ 同时约束二者：它给出任何无偏估计精度的上限，且只依赖观测方程 $h$ 与噪声方差，因此可以在观测之前计算，用于实验设计。

两个温度计例子

恒温房间里有一支温度计，估真实温度 $\theta$，读数 $X=\theta+\mu$，$\mu\sim\mathcal N(0,\sigma^2)$，多次取平均即可。若温度计有固定偏差 $b$、房间温度已知，读数 $X=\theta+b+\mu$，要估的就是偏差 $b$。两种情形里"参数"都是某个未知量。

直觉上，普通温度计 $\sigma$ 大，测一两次不准、需多次平均；精密温度计 $\sigma$ 小，测一两次即准。即噪声方差越大，单次观测包含的信息越少。这是高斯情形的特例，一般分布下方差并不直接等于信息。

似然峰的曲率

$n$ 次独立观测的似然 $L(\theta)=\prod_i f(x_i;\theta)$，$f$ 为单次观测密度。最大似然估计是使 $L$ 最大的 $\hat\theta$。温度计例子中真值取 $\theta_0=2$，$\sigma$ 小时似然高而窄，$\theta$ 稍偏概率骤降；$\sigma$ 大时似然平而宽。

峰尖锐程度由峰顶曲率刻画，Fisher 信息即对数似然在峰顶的负曲率。图中虚线间距 $2/\sqrt I$ 为估计精度尺度，峰越尖越窄。该结论不能简单等价为"信息等于 1/方差"，这只在高斯且参数线性进入均值时成立。

score 函数

对数似然的一阶导称为 score 函数：

$$S(\theta)=\frac{\partial\ln L}{\partial\theta}=\sum_{i=1}^n\frac{\partial\ln f(x_i;\theta)}{\partial\theta}$$

固定真值 $\theta_0$、更换数据集，$S(\theta_0)$ 取值不同，因此 score 是随机量。它有两个性质：在 MLE 处 $S(\hat\theta)=0$；期望恒为零：

$$\mathbb E[S]=\int f\cdot\frac{\partial\ln f}{\partial\theta}\,dx=\int\frac{\partial f}{\partial\theta}\,dx=\frac{\partial}{\partial\theta}\!\int f\,dx=\frac{\partial}{\partial\theta}\,1=0$$

因 score 均值为零，其离散程度由方差刻画。固定真值、反复抽取由 $n$ 次观测组成的数据集，每个数据集算一个总 score，分布如下。

图中 $n$ 为每个数据集的观测次数，总 score 是 $n$ 次得分之和，$n$ 越大分布越宽、方差越大。需注意 score 的方差与估计量 $\hat\theta$ 的方差方向相反：前者即信息 $I$，后者为精度下界 $1/I$，随信息增大而减小。

两种等价定义

由 $\mathbb E[S]=0$，方差等于二阶矩，Fisher 信息有两个等价写法：

$$I(\theta)=\mathbb E[S^2]=-\mathbb E\!\left[\frac{\partial^2\ln L}{\partial\theta^2}\right]$$

左侧为 score 方差，右侧为对数似然负曲率。二者相等可证：对 $S=\frac{1}{f},\partial_\theta f$ 再求一次导，

$$\frac{\partial^2\ln f}{\partial\theta^2}=\frac{1}{f}\frac{\partial^2 f}{\partial\theta^2}-S^2$$

取期望后第一项 $\int f\cdot\frac{1}{f},\partial_\theta^2 f,dx=\partial_\theta^2!\int f,dx=0$，剩余 $-\mathbb E[S^2]$，故 $-\mathbb E[\partial_\theta^2\ln L]=\mathbb E[S^2]=I$。

高斯情形的计算

温度计例子 $X\sim\mathcal N(\theta,\sigma^2)$，

$$\ln L=-n\ln(\sqrt{2\pi}\sigma)-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\theta)^2$$

两次求导得 $\partial_\theta^2\ln L=-n/\sigma^2$，故

$$I(\theta)=\frac{n}{\sigma^2}$$

推广到 $X=h(\theta)+\mu$，同样步骤（含 $h’'$ 的项乘残差、取期望归零）得

$$I(\theta)=\sum_{i=1}^n\frac{(h'(\theta))^2}{\sigma^2}$$

信息只取决于 $h$ 的导数与噪声方差，与 $h$ 本身是否弯曲无关，即高斯情形只看雅可比。

多参数、多观测时写成矩阵形式。设观测方程 $\mathbf x=\mathbf f(\boldsymbol\theta)+\boldsymbol\mu$，雅可比 $\mathbf J=\partial\mathbf f/\partial\boldsymbol\theta$，噪声协方差 $\boldsymbol\Sigma$，则

$$\mathcal I=\mathbf J^\top\boldsymbol\Sigma^{-1}\mathbf J$$

标量情形的 $h’$、$\sigma^2$、$(h’)2/\sigma^2$ 分别替换为 $\mathbf J$、$\boldsymbol\Sigma$、$\mathbf J^{\top\boldsymbol\Sigma}{-1}\mathbf J$。$\boldsymbol\Sigma^{-1}$ 起权重作用：对角 $1/\sigma_z^2$ 按精度给通道加权，非对角项扣除相关通道间的信息重叠。相机标定使用各向同性形式 $\mathcal I=(1/\sigma_a^2)\mathbf J^\top\mathbf J$，其中 $\sigma_a=\sigma_{det}/\sqrt2$，应用见视觉测量的误差预算。

非高斯例子：抛硬币

偏心硬币正面概率 $\theta$，单次 $X\in{0,1}$，密度 $f(x;\theta)=\theta^x(1-\theta){1-x}$。两次求导取期望（用 $\mathbb E[X]=\theta$）：

$$I(\theta)=-\mathbb E\!\left[\frac{\partial^2\ln f}{\partial\theta^2}\right]=\frac{1}{\theta}+\frac{1}{1-\theta}=\frac{1}{\theta(1-\theta)}$$

该函数呈 U 形，$\theta=0.5$ 处最小（4），边界 $\theta\to0,1$ 处趋于无穷。$n$ 次独立试验的信息为 $n/[\theta(1-\theta)]$。此处"信息"指似然区分 $\theta$ 的锐度，与结果不确定性（熵）不同。

Cramér–Rao 下界

衡量估计器有无偏性、有效性、一致性三项标准。Cramér–Rao 不等式给出约束：任何无偏估计 $\hat\theta$ 的方差有下限

$$\mathrm{Var}(\hat\theta)\ge\frac{1}{I(\theta)}$$

多参数时 $\mathrm{Cov}(\hat{\boldsymbol\theta})\succeq\mathcal I^{-1}$，第 $k$ 分量下界 $\mathrm{CRLB}_k=\sqrt{[\mathcal I^{-1}]_{kk}}$。证明要点：无偏估计与 score 的互协方差为单位阵，联合协方差半正定，对信息块取 Schur 补得 $\mathrm{Cov}(\hat{\boldsymbol\theta})-\mathcal I^{-1}\succeq0$。温度计例子中 $I=n/\sigma^2$，下界 $\sigma^2/n$，恰为样本均值的方差。

最大似然的渐近精度

大样本下最大似然估计的分布为

$$\sqrt n\,(\hat\theta_{\mathrm{MLE}}-\theta)\ \xrightarrow{\;d\;}\ \mathcal N\!\left(0,\ I_1^{-1}\right)$$

$I_1$ 为单次观测信息。推导由泰勒展开：MLE 满足 $S(\hat\theta)=0$，在真值处展开

$$\sqrt n\,(\hat\theta-\theta)\approx-\left(\tfrac{1}{n}H\right)^{-1}\!\cdot\,\tfrac{1}{\sqrt n}S$$

由中心极限定理 $\frac{1}{\sqrt n}S\to\mathcal N(0,I_1)$，由大数定律 $\frac{1}{n}H\to-I_1$。$I_1$ 在分子（score 方差）与分母（海森期望）各出现一次，相约得 $I_1^{-1}$。

因此标定代码（高斯噪声下的非线性最小二乘，等价于 MLE）输出的不确定度近似为 $\mathcal I^{-1}$。

可区分性与 KL 散度

Fisher 信息可理解为参数变化引起的分布变化程度。用 KL 散度严格化，真值 $\theta$ 与邻近 $\theta’=\theta+\Delta\theta$ 的分布在 $\theta’=\theta$ 处的二阶展开为

$$D_{\mathrm{KL}}(p_\theta\,\|\,p_{\theta+\Delta\theta})\approx\tfrac12\,\Delta\theta^\top\mathcal I\,\Delta\theta$$

即 Fisher 信息是 KL 散度的 Hessian。证明依据：期望对固定的 $p_\theta$ 取，与 $\theta’$ 无关，求导可进出期望。展开 $D_{\mathrm{KL}}=\mathbb E_{p_\theta}[\ln p_\theta-\ln p_{\theta’}]$，对 $\theta’$ 求两次导得 $-\mathbb E_{p_\theta}[\partial_{\theta’}^2\ln p_{\theta’}]$，代入 $\theta’=\theta$ 即负曲率形式。

沿某方向 $\Delta\theta^\top\mathcal I,\Delta\theta$ 接近零，表示该方向分布几乎不变、参数不可定（退化），对应 $\mathcal I$ 的近零特征方向。相机标定中无倾斜导致 $f_x$ 不可观即属此情形。

作为度量的信息几何

将不同 $\boldsymbol\theta$ 对应的分布视为流形上的点，$\mathcal I$ 在每点定义内积

$$\langle\Delta\boldsymbol\theta_1,\Delta\boldsymbol\theta_2\rangle=\Delta\boldsymbol\theta_1^\top\mathcal I\,\Delta\boldsymbol\theta_2$$

即 Fisher-Rao 度量。

换参数 $\boldsymbol\varphi=\boldsymbol\varphi(\boldsymbol\theta)$ 时 $\mathcal I_\varphi=\mathbf T^\top\mathcal I_\theta\mathbf T$ 协变变换，分布间距离不变，因此 Fisher 信息属于模型本身的几何。自然梯度以其逆作预条件，Jeffreys 先验取 $\sqrt{\det\mathcal I}$。

小结

Fisher 信息有几种等价表述：score 的方差、对数似然的负曲率、最大似然估计渐近方差的倒数、KL 散度的 Hessian、概率模型的 Fisher-Rao 度量。在相机标定中，它给出各内参的精度下界（CRLB），标定结果的不确定度大样本下近似为 $\mathcal I^{-1}$。误差的逐级拆解与预算方法见视觉测量的误差预算。

文章链接：
https://www.zywvvd.com/notes/study/camera-imaging/fisher-information/fisher-information/