Jensen (琴生) 不等式

本文最后更新于：2023年12月5日下午

琴生不等式以丹麦技术大学数学家约翰·延森（John Jensen）命名。它给出积分的凸函数值和凸函数的积分值间的关系。

简介

琴生不等式（Jensen’s inequality）以丹麦技术大学数学家约翰·延森（John Jensen）命名，它给出积分的凸函数值和凸函数的积分值间的关系。

琴生不等式有以下推论：过一个下凸函数上任意两点所作割线一定在这两点间的函数图象的上方，即：

$$
t f\left(x_ {1}\right)+(1-t) f\left(x_ {2}\right) \geq f\left(t x_ {1}+(1-t) x_ {2}\right), 0 \leq t \leq 1
$$

该不等式与凸函数关系密切

Jensen不等式

根据凸函数性质，凸集$C$上的凸函数$f$上的两点$x_1,x_2$满足

$$
\theta f ( x _ { 1 } ) + ( 1 - \theta ) f ( x _ { 2 } ) \geq f ( \theta x _ { 1 } + ( 1 - \theta ) x _ { 2 } ) , \theta E [ 0 , 1 ]
$$

把上式推广到 $ n $ 个点的情况，即得 Jensen 不等式：对于凸函数 $ f $ ，其所在凸集 $ C $ 中的任意点集 $ \ {x_ {i}} \subset C $ ，若 $ \theta_ {i} \geq 0 $ 且 $ \sum_ {i} \theta_ {i}=1 $ ，则有

$$
\sum_ {i=1}^ {M} \theta_ {i} f\left(x_ {i}\right) \geq f\left(\sum_ {i=1}^ {M} \theta_ {i} x_ {i}\right)
$$

同样地，对于凹函数 $ f(x) $ 来说，对任意 $ \lambda_ {j}>=0 $ ，并且有 $ \sum_ {j=1}^ {J} \lambda_ {j}=1 $ ，如下不等式成立:
$$
\sum_ {j=1}^ {J} \lambda_ {j} f\left(x_ {j}\right)<=f\left(\sum_ {j=1}^ {J} \lambda_ {j} x_ {j}\right)
$$

证明

现在我们以凸函数为例，证明对于凸函数 $ f(x) $ 来说，对任意 $ \lambda_ {j}>=0 $ ，并且有 $ \sum_ {j=1}^ {J} \lambda_ {j}=1 $ ，如下不等式成立:

$$
\sum_ {j=1}^ {J} \lambda_ {j} f\left(x_ {j}\right)>=f\left(\sum_ {j=1}^ {J} \lambda_ {j} x_ {j}\right)
$$

采用归纳法证明上述不等式
- 首先对于$J = 1$，很明显不等式成立；
- 首先对于$J = 2$，根据凸函数定义 $ \lambda_ {1} f\left(x_ {1}\right)+\lambda_ {2} f\left(x_ {2}\right)>=f\left(\lambda_ {1} x_ {1}+\lambda_ {2} x_ {2}\right) $，不等式成立
- 假设 $J = n$ 时不等式成立，即：
  $$
  \sum_ {j=1}^ {n} \lambda_ {j} f\left(x_ {j}\right)>=f\left(\sum_ {j=1}^ {n} \lambda_ {j} x_ {j}\right)
  $$
- 往证 $J = n + 1$ 时不等式成立：
  $$ \begin {aligned} \sum_ {j=1}^ {n+1} \lambda_ {j} f\left(x_ {j}\right)=& \lambda_ {n+1} f\left(x_ {n+1}\right)+\sum_ {j=1}^ {n} \lambda_ {j} f\left(x_ {j}\right) \\ &=\lambda_ {n+1} f\left(x_ {n+1}\right)+\left(1-\lambda_ {n+1}\right) \sum_ {j=1}^ {n} \frac {\lambda_ {j}} {1-\lambda_ {n+1}} f\left(x_ {j}\right) \\ &>=\lambda_ {n+1} f\left(x_ {n+1}\right)+\left(1-\lambda_ {n+1}\right) f\left(\sum_ {j=1}^ {n} \frac {\lambda_ {j}} {1-\lambda_ {n+1}} x_ {j}\right) \\ &>=f\left(\lambda_ {n+1} x_ {n+1}+\left(1-\lambda_ {n+1}\right) \sum_ {j=1}^ {n} \frac {\lambda_ {j}} {1-\lambda_ {n+1}} x_ {j}\right) \\ &=f\left(\lambda_ {n+1} x_ {n+1}+\sum_ {j=1}^ {n} \lambda_ {j} x_ {j}\right) \\ &=f\left(\sum_ {j=1}^ {n+1} \lambda_ {j} x_ {j}\right) \end {aligned} $$
- 因此当 $J = n + 1$ 时不等式成立
- 完成了 Jensen 不等式的归纳法证明

扩展

在概率论中，对于离散型随机变量 $ X $ ，若 $f(X)$ 为凸函数，则根据Jensen不等式，有：

$$
E[f(X)] \geq f(E[X])
$$
对于连续随机变量 $x$，若 $f(x)$ 为凸函数，则根据Jensen不等式，有：

$$
\int f(x) p(x) d x \geq f\left(\int x p(x) d x\right)
$$

更一般的概率密度形式：
- 假设$\Omega $是实轴上的可测子集，而$ f(x) $是非负函数，使得:
$$
{\displaystyle \int _ {-\infty }^ {\infty }f(x),dx=1}
$$
- 即 $f$ 是个概率密度函数
- 若$ {\displaystyle g}$是任一实值可测函数，$ {\displaystyle \phi }$ 在$ {\displaystyle g}$的值域中是凸函数，则
  $$
  {\displaystyle \varphi \left(\int _ {-\infty }^ {\infty }g(x)f(x),dx\right)\leq \int _ {-\infty }^ {\infty }\varphi (g(x))f(x),dx}
  $$
  
  若$ {\displaystyle g(x)=x}$，则这形式的不等式简化成一个常用特例：
  $$
  {\displaystyle \varphi \left(\int _ {-\infty }^ {\infty }x,f(x),dx\right)\leq \int _ {-\infty }^ {\infty }\varphi (x),f(x),dx}
  $$
一般的有限形式：
- 若$ {\displaystyle \Omega }$是有限集合 $\{ {1}, x _ { 2 } , \ldots ,x _ { n } \} $ ，则不等式的一般形式可以简单地用和式表示：
  
  $$
  {\displaystyle \varphi \left(\sum _ {i=1}^ {n}g(x_ {i})\lambda _ {i}\right)\leq \sum _ {i=1}^ {n}\varphi (g(x_ {i}))\lambda _ {i}}
  $$
- 其中 $\lambda _ {1}+\lambda _ {2}+\cdots +\lambda _ {n}=1,\lambda _ {i}\geq 0$
- 若 $\phi$ 是凹函数，只需把不等式符号调转
- 假设 $x_ {1},x_ {2},\ldots ,x_ {n}$ 是正实数，$g(x)=x$，$\lambda _ {i}=1/n$ 及 $\varphi (x)=\log(x)$。上述和式便成了
  $$ {\displaystyle \log \left(\sum _ {i=1}^ {n} {\frac {x_ {i}} {n}}\right)\geq \sum _ {i=1}^ {n} {\frac {\log(x_ {i})} {n}}} $$
- 两边取自然指数就得出熟悉的均值不等式：
  $$
  {\displaystyle {\frac {x_ {1}+x_ {2}+\cdots +x_ {n}} {n}}\geq {\sqrt[ {n}] {x_ {1}x_ {2}\cdots x_ {n}}}}
  $$