线性代数 - 1 - 基础知识

本文最后更新于:2022年8月10日 上午

线性代数,基础知识,温故知新。

定义

  • 向量:

向量默认为列向量:

$$ \overrightarrow{\mathbf{x}}=\left(x_{1}, x_{2}, \cdots, x_{n}\right)^{T}=\left[\begin{array}{c} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \end{array}\right] $$
  • 矩阵 $\mathbf{X} \in \mathbb{R}^{m \times n}$,表示为:
$$ \mathbf{X}=\left[\begin{array}{cccc} x_{1,1} & x_{1,2} & \cdots & x_{1, n} \\ x_{2,1} & x_{2,2} & \cdots & x_{2, n} \\ \vdots & \vdots & \ddots & \vdots \\ x_{m, 1} & x_{m, 2} & \cdots & x_{m, n} \end{array}\right] $$

范数

向量范数

1-范数

各个元素的绝对值之和

$$ \|X\|_{1}=\sum_{i=1}^{n}\left|x_{i}\right| $$
2-范数

每个元素的平方和再开平方根

$$ \|X\|_{2}=\left(\sum_{i=1}^{n} x_{i}^{2}\right)^{\frac{1}{2}}=\sqrt{\sum_{i=1}^{n} x_{i}^{2}} $$
p-范数
$$ \|X\|_{p}=\left(\sum_{i=1}^{n}\left|x_{i}\right|^{p}\right)^{\frac{1}{p}} $$
  • 其中正整数p≥1,并且有 $\lim _{p \rightarrow \infty}\|X\|_{p}=\max _{1 \leq i \leq n}\left|x_{i}\right|$.
无穷范数
$$ \|X\|_{\infty}=\max _ { 1 < i< n}\left|x_{i}\right | $$

为向量中绝对值最大的元素的值。

矩阵范数

1-范数(列模)

矩阵的每一列上的元素绝对值先求和,再从中取个最大的,(列和最大)

$$ \|A\|_{1}=\max _{1 \leq j \leq n} \sum_{i=1}^{n} \mid a_{i j}\mid $$
2-范数(谱模):

最大特征值开平方根:

$$ \mid\mid A \|_{2}=\sqrt{\lambda_{\max }\left(A^{T} A\right)}=\sqrt{\max _{1 \leq i \leq n}\left|\lambda_{i}\right|} $$
无穷范数(行模)

矩阵的每一行上的元素绝对值先求和,再从中取个最大的,(行和最大)

$$ \|A\|_{\infty}=\max _{1 \leq i \leq n} \sum_{j=1}^{n} \mid a_{i j}\mid $$
L0范数

矩阵的非0元素的个数,通常用它来表示稀疏,L0范数越小0元素越多,也就越稀疏

L1范数:

矩阵中的每个元素绝对值之和,它是L0范数的最优凸近似,因此它也可以近似表示稀疏

F范数:

矩阵的各个元素平方之和再开平方根,它通常也叫做矩阵的L2范数,它的优点在它是一个凸函数,可以求导求解,易于计算

$$ \|\mathbf{A}\|_{F}=\sqrt{\sum_{i, j} a_{i, j}^{2}} $$

行列式

  • 方阵 $A$ 的行列式,记作 $det(A)$或$|A|$:
$$ D=\left|\begin{array}{llll} a_{11} & a_{12} & \cdots & a_{1 n} \\ a_{21} & a_{22} & \cdots & a_{2 n} \\ \cdots & \cdots & \cdots & \cdots \\ a_{n 1} & a_{n 2} & \cdots & a_{n n} \end{array}\right| $$
  • 计算公式:

$$
D=\sum (- 1) ^ {k } a_{1 k_{ 1} } a_{2 k_{2} } \cdots a_ { n k _ { n} }
$$

  • 表示的是$n$个$n$维向量构成的n维平行多面体的体积,该体积有正负,若存在线性相关的向量,行列式为0
  • 行列式$A$中某行(或列)用同一数$k$乘,其结果等于$kA$
  • 行列式$A$等于其转置行列式$AT$($AT$的第i行为$A$的第$i$列)
  • 行列式$A$中两行(或列)互换,其结果等于$-A$
  • 把行列式$A$的某行(或列)中各元同乘一数后加到另一行(或列)中各对应元上,结果仍然是$A$

方阵的迹

  • 方阵$\mathbf{A}=\left(a_{i, j}\right)_{n \times n}$的迹,记作$\operatorname{tr}(\mathbf{A})$,对角线元素之和,也等于特征值的和:
$$ \operatorname{tr}(\mathbf{A})=\sum_{i} a_{i, i} $$

向量积

点积**(Dot Product)**

对应元素乘积和,结果不是一个向量,而是一个标量(Scalar)

$$ {\bf{A} } \cdot {\bf{B} } = \sum\limits_i { {a_i}{b_i} } = \left| A \right|\left| B \right|Cos\left( \theta \right) $$

叉乘(cross product)

三维向量的叉积:

用三阶行列式表示

$$ \overrightarrow{\mathbf{u}}=u_{x} \overrightarrow{\mathbf{i}}+u_{y} \overrightarrow{\mathbf{j}}+u_{z} \overrightarrow{\mathbf{k}}, \quad \overrightarrow{\mathbf{v}}=v_{x} \overrightarrow{\mathbf{i}}+v_{y} \overrightarrow{\mathbf{j}}+v_{z} \overrightarrow{\mathbf{k}} $$

其中$\overrightarrow{\mathbf{i}}, \overrightarrow{\mathbf{j}}, \overrightarrow{\mathbf{k}}$分别为$x, y, z$轴的单位向量。

$$ \overrightarrow{\mathbf{w}}=\overrightarrow{\mathbf{u}} \times \overrightarrow{\mathbf{v}}=\left[\begin{array}{ccc} \overrightarrow{\mathbf{i}} & \overrightarrow{\mathbf{j}} & \overrightarrow{\mathbf{k}} \\ u_{x} & u_{y} & u_{z} \\ v_{x} & v_{y} & v_{z} \end{array}\right] $$
  • $\overrightarrow{\mathbf{u}}, \overrightarrow{\mathbf{v}}$的叉积垂直于$\overrightarrow{\mathbf{u}}, \overrightarrow{\mathbf{v}}$构成的平面,其方向符合右手规则
  • 叉积的模等于$\overrightarrow{\mathbf{u}}, \overrightarrow{\mathbf{v}}$构成的平行四边形的面积

向量的并矢

给定两个向量 $\overrightarrow{\mathbf{x}}=\left(x_{1}, x_{2}, \cdots, x_{n}\right)^{T}, \overrightarrow{\mathbf{y}}=\left(y_{1}, y_{2}, \cdots, y_{m}\right)^{T}$ ,则向量的并矢记作:

$$ \overrightarrow{\mathbf{x}} \overrightarrow{\mathbf{y}}=\left[\begin{array}{cccc} x_{1} y_{1} & x_{1} y_{2} & \cdots & x_{1} y_{m} \\ x_{2} y_{1} & x_{2} y_{2} & \cdots & x_{2} y_{m} \\ \vdots & \vdots & \ddots & \vdots \\ x_{n} y_{1} & x_{n} y_{2} & \cdots & x_{n} y_{m} \end{array}\right] $$

也记作$\overrightarrow{\mathbf{x}} \otimes \overrightarrow{\mathbf{y}}$或者$\overrightarrow{\mathbf{x}} \overrightarrow{\mathbf{y}}^{T}$。

矩阵运算

给定两个矩阵$\mathbf{A}=\left(a_{i, j}\right) \in \mathbb{R}^{m \times n}, \mathbf{B}=\left(b_{i, j}\right) \in \mathbb{R}^{m \times n}$ ,定义:

阿达马积(Hadamard product)(又称作逐元素积)

$$ \mathbf{A} \circ \mathbf{B}=\left[\begin{array}{cccc} a_{1,1} b_{1,1} & a_{1,2} b_{1,2} & \cdots & a_{1, n} b_{1, n} \\ a_{2,1} b_{2,1} & a_{2,2} b_{2,2} & \cdots & a_{2, n} b_{2, n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m, 1} b_{m, 1} & a_{m, 2} b_{m, 2} & \cdots & a_{m, n} b_{m, n} \end{array}\right] $$

克罗内积(Kronnecker product)

$$ \mathbf{A} \otimes \mathbf{B}=\left[\begin{array}{cccc} a_{1,1} \mathbf{B} & a_{1,2} \mathbf{B} & \cdots & a_{1, n} \mathbf{B} \\ a_{2,1} \mathbf{B} & a_{2,2} \mathbf{B} & \cdots & a_{2, n} \mathbf{B} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m, 1} \mathbf{B} & a_{m, 2} \mathbf{B} & \cdots & a_{m, n} \mathbf{B} \end{array}\right] $$

偏导数

  • 标量对标量的偏导数:$\frac{\partial u}{\partial v}$ 。
  • 标量对向量( $n$ 维向量)的偏导数 : $\frac{\partial u}{\partial \overrightarrow{\mathbf{v}}}=\left(\frac{\partial u}{\partial v_{1}}, \frac{\partial u}{\partial v_{2}}, \cdots, \frac{\partial u}{\partial v_{n}}\right)^{T}$。
  • 标量对矩阵( $m \times n$阶矩阵)的偏导数:
$$ \frac{\partial u}{\partial \mathbf{V}}=\left[\begin{array}{cccc} \frac{\partial u}{\partial V_{1,1}} & \frac{\partial u}{\partial V_{1,2}} & \cdots & \frac{\partial u}{\partial V_{1, n}} \\ \frac{\partial u}{\partial V_{2,1}} & \frac{\partial u}{\partial V_{2,2}} & \cdots & \frac{\partial u}{\partial V_{2, n}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial u}{\partial V_{m, 1}} & \frac{\partial u}{\partial V_{m, 2}} & \cdots & \frac{\partial u}{\partial V_{m, n}} \end{array}\right] $$
  • 向量( $m$维向量)对标量的偏导数:$\frac{\partial \overrightarrow{\mathbf{u}}}{\partial v}=\left(\frac{\partial u_{1}}{\partial v}, \frac{\partial u_{2}}{\partial v}, \cdots, \frac{\partial u_{m}}{\partial v}\right)^{T}$ 。
  • 向量( $m$维向量)对向量 ( $n$维向量) 的偏导数(雅可比矩阵,行优先)如果为列优先,则为矩阵的转置。
$$ \frac{\partial \overrightarrow{\mathbf{u}}}{\partial \overrightarrow{\mathbf{v}}}=\left[\begin{array}{cccc} \frac{\partial u_{1}}{\partial v_{1}} & \frac{\partial u_{1}}{\partial v_{2}} & \cdots & \frac{\partial u_{1}}{\partial v_{n}} \\ \frac{\partial u_{2}}{\partial v_{1}} & \frac{\partial u_{2}}{\partial v_{2}} & \cdots & \frac{\partial u_{2}}{\partial v_{n}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial u_{m}}{\partial v_{1}} & \frac{\partial u_{m}}{\partial v_{2}} & \cdots & \frac{\partial u_{m}}{\partial v_{n}} \end{array}\right] $$
  • 矩阵( $m \times n$阶矩阵)对标量的偏导数
$$ \frac{\partial \mathbf{U}}{\partial v}=\left[\begin{array}{cccc} \frac{\partial U_{1,1}}{\partial v} & \frac{\partial U_{1,2}}{\partial v} & \cdots & \frac{\partial U_{1, n}}{\partial v} \\ \frac{\partial U_{2,1}}{\partial v} & \frac{\partial U_{2,2}}{\partial v} & \cdots & \frac{\partial U_{2, n}}{\partial v} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial U_{m, 1}}{\partial v} & \frac{\partial U_{m, 2}}{\partial v} & \cdots & \frac{\partial U_{m, n}}{\partial v} \end{array}\right] $$

参考资料


线性代数 - 1 - 基础知识
https://www.zywvvd.com/notes/study/linear-algebra/basic-knowledge/basic-knowledge/
作者
Yiwei Zhang
发布于
2021年2月27日
许可协议