二次型优化问题 - 2 - 二次型参数确定

本文最后更新于:2022年8月10日 上午

本文属于二次型优化问题系列文章,主要介绍二次型参数的定义由来。

提出问题

  • 需要优化的函数二次型的形式:

$$
f({\bf{x} }) = \frac{1}{2}{\bf{x^TAx} } - { {\bf{b} }^{\bf{T} } }{\bf{x} } + {\bf{c} } \tag{1} \label{eq1}
$$

  • 而原始n元多项式为:

$$
f({x_1},{x_2},{x_3},…,{x_n}) = {a_{1,1}}x_1^2 + {a_{1,2}}{x_1}{x_2} + {a_{1,3}}{x_1}{x_3} + \cdots + {a_{1,n}}{x_1}{x_n} + {a_{2,1}}x_2{x_1} + {a_{2,2}}{x_2^2} + {a_{2,3}}{x_2}{x_3} + \cdots + {a_{2,n}}{x_2}{x_n} + \cdots + {a_{n,n}}x_n^2+{b_1}x_1+{b_2}x_2+\cdots+{b_n}x_n+c
$$

  • 其中,表示$\bf{A}$:

$$
A = \left[ {\begin{array}{*{20}{c}}
{a_{1,1}^ \bullet }& \cdots &{a_{n,n}^ \bullet }
\end{array}} \right] \tag{3} \label{eq3}
$$

  • 将$\bf{A}$与多项式系数对应:

$$
a_{i,i}^ \bullet = {a_{i,i}},1 \le i \le n\ \tag{4}
$$

$$
a_{i,j}^ \bullet + a_{j,i}^ \bullet = {a_{i,j}},1 \le i < j \le n\ \tag{5} \label{eq5}
$$

$$
{a_{i,j}} = 0,1 \le j < i \le n \tag{6}
$$

  • 那么对应$\bf{A}$中非对角线的元素,仅需要保证公式$\eqref{eq5}$成立即可,那么对于不相等的$i,j$,可以有无数种$a_{i,j}^ \bullet + a_{j,i}^ \bullet$的组合满足条件,$\bf{A}$该如何确定?

二次型矩阵

  • 在定义实数空间内的二次型时,二次型矩阵被要求为对称的,也就是要求:

$$
a_{i,j}^ \bullet = a_{j,i}^ \bullet = \frac{1}{2}{a_{i,j}},1 \le i < j \le n \tag{7}
$$

  • 也就确定了唯一的$\bf{A}$,来表示一个确定的多元二次函数。

为何如此

  • 定义的用处就是来确定问题,这种定义可以唯一确定二次函数,没有任何歧义和变化,用于统一数学术语
  • 我觉得很关键的问题是如此定义$\bf{A}$会给求导带来很大方便
  • 我们略去一次项与常数项,得到纯粹的二次型:

$$
f({\bf{x} }) = \frac{1}{2}{\bf{xAx} } \tag{8} \label{eqq8}
$$

  • 即:

$$
f({\bf{x} }) = \frac{1}{2}\sum\limits_{i,j = 1}^n {a_{i,j}^ \bullet } {x_i}{x_j} \tag{9}
$$

  • 仍用$\eqref{eq3}$表示$\bf{A}$,对$\eqref{eqq8}$中的向量$\bf{x}$求导:

$$
f’({x_i}) = \frac{1}{2}[\sum\limits_{j = 1,j \ne i}^n {(a_{i,j}^ \bullet + a_{j,i}^ \bullet )} {x_j} + 2a_{i,i}^ \bullet {x_i}] \tag{10}
$$

  • 如果$\bf{A}$是对称阵,那么$a_{i,j}^ \bullet = a_{j,i}^ \bullet $,有:

$$
f’({x_i}) = \frac{1}{2}\sum\limits_{j = 1}^n {a_{i,j}^ \bullet } {x_j} \tag{11}
$$

$$
f’(\bf{x}) = \bf{Ax} \tag{12}
$$

  • 也就是说定义$\bf{A}$为对称阵可以唯一确定二次型矩阵,也可以方便地对二次型进行求导。

二次型优化问题 - 2 - 二次型参数确定
https://www.zywvvd.com/notes/study/machine-learning/conjugate-gradient-algorithm/quadratic-cofficient/quadratic-cofficient/
作者
Yiwei Zhang
发布于
2020年12月12日
许可协议