二次型优化问题 - 2 - 二次型参数确定

本文属于二次型优化问题系列文章，主要介绍二次型参数的定义由来。

提出问题

• 需要优化的函数二次型的形式：

$$
f({\bf{x} }) = \frac{1}{2}{\bf{x^TAx} } - { {\bf{b} }^{\bf{T} } }{\bf{x} } + {\bf{c} } \tag{1} \label{eq1}
$$

• 而原始n元多项式为：

$$
f({x_1},{x_2},{x_3},…,{x_n}) = {a_{1,1}}x_1^2 + {a_{1,2}}{x_1}{x_2} + {a_{1,3}}{x_1}{x_3} + \cdots + {a_{1,n}}{x_1}{x_n} + {a_{2,1}}x_2{x_1} + {a_{2,2}}{x_2^2} + {a_{2,3}}{x_2}{x_3} + \cdots + {a_{2,n}}{x_2}{x_n} + \cdots + {a_{n,n}}x_n^2+{b_1}x_1+{b_2}x_2+\cdots+{b_n}x_n+c
$$

• 其中，表示$\bf{A}$：

$$
A = \left[ {\begin{array}{*{20}{c}}
{a_{1,1}^ \bullet }& \cdots &{a_{n,n}^ \bullet }
\end{array}} \right] \tag{3} \label{eq3}
$$

• 将$\bf{A}$与多项式系数对应：

$$
a_{i,i}^ \bullet = {a_{i,i}},1 \le i \le n\ \tag{4}
$$

$$
a_{i,j}^ \bullet + a_{j,i}^ \bullet = {a_{i,j}},1 \le i < j \le n\ \tag{5} \label{eq5}
$$

$$
{a_{i,j}} = 0,1 \le j < i \le n \tag{6}
$$

• 那么对应$\bf{A}$中非对角线的元素，仅需要保证公式$\eqref{eq5}$成立即可，那么对于不相等的$i,j$，可以有无数种$a_{i,j}^ \bullet + a_{j,i}^ \bullet$的组合满足条件，$\bf{A}$该如何确定？

二次型矩阵

• 在定义实数空间内的二次型时，二次型矩阵被要求为对称的，也就是要求：

$$
a_{i,j}^ \bullet = a_{j,i}^ \bullet = \frac{1}{2}{a_{i,j}},1 \le i < j \le n \tag{7}
$$

• 也就确定了唯一的$\bf{A}$，来表示一个确定的多元二次函数。

为何如此

• 定义的用处就是来确定问题，这种定义可以唯一确定二次函数，没有任何歧义和变化，用于统一数学术语
• 我觉得很关键的问题是如此定义$\bf{A}$会给求导带来很大方便
• 我们略去一次项与常数项，得到纯粹的二次型：

$$
f({\bf{x} }) = \frac{1}{2}{\bf{xAx} } \tag{8} \label{eqq8}
$$

• 即：

$$
f({\bf{x} }) = \frac{1}{2}\sum\limits_{i,j = 1}^n {a_{i,j}^ \bullet } {x_i}{x_j} \tag{9}
$$

• 仍用$\eqref{eq3}$表示$\bf{A}$，对$\eqref{eqq8}$中的向量$\bf{x}$求导：

$$
f’({x_i}) = \frac{1}{2}[\sum\limits_{j = 1,j \ne i}^n {(a_{i,j}^ \bullet + a_{j,i}^ \bullet )} {x_j} + 2a_{i,i}^ \bullet {x_i}] \tag{10}
$$

• 如果$\bf{A}$是对称阵，那么$a_{i,j}^ \bullet = a_{j,i}^ \bullet $，有：

$$
f’({x_i}) = \frac{1}{2}\sum\limits_{j = 1}^n 2{a_{i,j}^ \bullet } {x_j} \tag{11}
$$

$$
f’(\bf{x}) = \bf{Ax} \tag{12}
$$

• 也就是说定义$\bf{A}$为对称阵可以唯一确定二次型矩阵，也可以方便地对二次型进行求导。

文章链接：
https://www.zywvvd.com/notes/study/machine-learning/conjugate-gradient-algorithm/quadratic-cofficient/quadratic-cofficient/