线性代数 - 1 - 基础知识

本文最后更新于：2023年12月5日下午

线性代数，基础知识，温故知新。

定义

向量：

向量默认为列向量：

$$ \overrightarrow{\mathbf{x}}=\left(x_{1}, x_{2}, \cdots, x_{n}\right)^{T}=\left[\begin{array}{c} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \end{array}\right] $$

矩阵 $\mathbf{X} \in \mathbb{R}^{m \times n}$，表示为：

$$ \mathbf{X}=\left[\begin{array}{cccc} x_{1,1} & x_{1,2} & \cdots & x_{1, n} \\ x_{2,1} & x_{2,2} & \cdots & x_{2, n} \\ \vdots & \vdots & \ddots & \vdots \\ x_{m, 1} & x_{m, 2} & \cdots & x_{m, n} \end{array}\right] $$

范数

向量范数

1-范数

各个元素的绝对值之和

$$ \|X\|_{1}=\sum_{i=1}^{n}\left|x_{i}\right| $$

2-范数

每个元素的平方和再开平方根

$$ \|X\|_{2}=\left(\sum_{i=1}^{n} x_{i}^{2}\right)^{\frac{1}{2}}=\sqrt{\sum_{i=1}^{n} x_{i}^{2}} $$

p-范数

$$ \|X\|_{p}=\left(\sum_{i=1}^{n}\left|x_{i}\right|^{p}\right)^{\frac{1}{p}} $$

其中正整数p≥1，并且有 $\lim _{p \rightarrow \infty}\|X\|_{p}=\max _{1 \leq i \leq n}\left|x_{i}\right|$.

无穷范数

$$ \|X\|_{\infty}=\max _ { 1 < i< n}\left|x_{i}\right | $$

为向量中绝对值最大的元素的值。

矩阵范数

1-范数（列模）

矩阵的每一列上的元素绝对值先求和，再从中取个最大的，（列和最大）

$$ \|A\|_{1}=\max _{1 \leq j \leq n} \sum_{i=1}^{n} \mid a_{i j}\mid $$

2-范数（谱模）：

最大特征值开平方根：

$$ \mid\mid A \|_{2}=\sqrt{\lambda_{\max }\left(A^{T} A\right)}=\sqrt{\max _{1 \leq i \leq n}\left|\lambda_{i}\right|} $$

无穷范数（行模）：

矩阵的每一行上的元素绝对值先求和，再从中取个最大的，（行和最大）

$$ \|A\|_{\infty}=\max _{1 \leq i \leq n} \sum_{j=1}^{n} \mid a_{i j}\mid $$

L0范数：

矩阵的非0元素的个数，通常用它来表示稀疏，L0范数越小0元素越多，也就越稀疏

L1范数：

矩阵中的每个元素绝对值之和，它是L0范数的最优凸近似，因此它也可以近似表示稀疏

F范数：

矩阵的各个元素平方之和再开平方根，它通常也叫做矩阵的L2范数，它的优点在它是一个凸函数，可以求导求解，易于计算

$$ \|\mathbf{A}\|_{F}=\sqrt{\sum_{i, j} a_{i, j}^{2}} $$

行列式

方阵 $A$ 的行列式，记作 $det(A)$或$|A|$：

$$ D=\left|\begin{array}{llll} a_{11} & a_{12} & \cdots & a_{1 n} \\ a_{21} & a_{22} & \cdots & a_{2 n} \\ \cdots & \cdots & \cdots & \cdots \\ a_{n 1} & a_{n 2} & \cdots & a_{n n} \end{array}\right| $$

计算公式：

$$
D=\sum (- 1) ^ {k } a_{1 k_{ 1} } a_{2 k_{2} } \cdots a_ { n k _ { n} }
$$

式中k1,k2,…,kn是将序列 1,2,…,n 的元素次序交换 k 次所得到的一个序列

表示的是$n$个$n$维向量构成的n维平行多面体的体积，该体积有正负，若存在线性相关的向量，行列式为0
一个矩阵的行列式的值表示的是该矩阵对空间所做的变换，将原来的空间放大或缩小了多少倍
行列式$A$中某行(或列)用同一数$k$乘,其结果等于$kA$
行列式$A$等于其转置行列式 $A^T$ ( $A^T$ 的第i行为$A$的第$i$列)
行列式$A$中两行（或列）互换,其结果等于$-A$
把行列式$A$的某行（或列）中各元同乘一数后加到另一行（或列）中各对应元上，结果仍然是$A$

方阵的迹

方阵$\mathbf{A}=\left(a_{i, j}\right)_{n \times n}$的迹，记作$\operatorname{tr}(\mathbf{A})$，对角线元素之和，也等于特征值的和：

$$ \operatorname{tr}(\mathbf{A})=\sum_{i} a_{i, i} $$

向量积

点积（Dot Product）

对应元素乘积和，结果不是一个向量，而是一个标量（Scalar）

$$ {\bf{A} } \cdot {\bf{B} } = \sum\limits_i { {a_i}{b_i} } = \left| A \right|\left| B \right|Cos\left( \theta \right) $$

叉乘（cross product）

三维向量的叉积：

用三阶行列式表示

$$ \overrightarrow{\mathbf{u}}=u_{x} \overrightarrow{\mathbf{i}}+u_{y} \overrightarrow{\mathbf{j}}+u_{z} \overrightarrow{\mathbf{k}}, \quad \overrightarrow{\mathbf{v}}=v_{x} \overrightarrow{\mathbf{i}}+v_{y} \overrightarrow{\mathbf{j}}+v_{z} \overrightarrow{\mathbf{k}} $$

其中$\overrightarrow{\mathbf{i}}, \overrightarrow{\mathbf{j}}, \overrightarrow{\mathbf{k}}$分别为 $x, y, z$ 轴的单位向量。

$$ \overrightarrow{\mathbf{w}}=\overrightarrow{\mathbf{u}} \times \overrightarrow{\mathbf{v}}=\left[\begin{array}{ccc} \overrightarrow{\mathbf{i}} & \overrightarrow{\mathbf{j}} & \overrightarrow{\mathbf{k}} \\ u_{x} & u_{y} & u_{z} \\ v_{x} & v_{y} & v_{z} \end{array}\right] $$

$\overrightarrow{\mathbf{u}}, \overrightarrow{\mathbf{v}}$的叉积垂直于$\overrightarrow{\mathbf{u}}, \overrightarrow{\mathbf{v}}$构成的平面，其方向符合右手规则
叉积的模等于$\overrightarrow{\mathbf{u}}, \overrightarrow{\mathbf{v}}$构成的平行四边形的面积

向量的并矢

给定两个向量 $\overrightarrow{\mathbf{x}}=\left(x_{1}, x_{2}, \cdots, x_{n}\right)^{T}, \overrightarrow{\mathbf{y}}=\left(y_{1}, y_{2}, \cdots, y_{m}\right)^{T}$ ，则向量的并矢记作：

$$ \overrightarrow{\mathbf{x}} \overrightarrow{\mathbf{y}}=\left[\begin{array}{cccc} x_{1} y_{1} & x_{1} y_{2} & \cdots & x_{1} y_{m} \\ x_{2} y_{1} & x_{2} y_{2} & \cdots & x_{2} y_{m} \\ \vdots & \vdots & \ddots & \vdots \\ x_{n} y_{1} & x_{n} y_{2} & \cdots & x_{n} y_{m} \end{array}\right] $$

也记作$\overrightarrow{\mathbf{x}} \otimes \overrightarrow{\mathbf{y}}$或者$\overrightarrow{\mathbf{x}} \overrightarrow{\mathbf{y}}^{T}$。

矩阵运算

给定两个矩阵$\mathbf{A}=\left(a_{i, j}\right) \in \mathbb{R}^{m \times n}, \mathbf{B}=\left(b_{i, j}\right) \in \mathbb{R}^{m \times n}$ ，定义：

阿达马积(Hadamard product)（又称作逐元素积）

$$ \mathbf{A} \circ \mathbf{B}=\left[\begin{array}{cccc} a_{1,1} b_{1,1} & a_{1,2} b_{1,2} & \cdots & a_{1, n} b_{1, n} \\ a_{2,1} b_{2,1} & a_{2,2} b_{2,2} & \cdots & a_{2, n} b_{2, n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m, 1} b_{m, 1} & a_{m, 2} b_{m, 2} & \cdots & a_{m, n} b_{m, n} \end{array}\right] $$

克罗内积(Kronnecker product)

$$ \mathbf{A} \otimes \mathbf{B}=\left[\begin{array}{cccc} a_{1,1} \mathbf{B} & a_{1,2} \mathbf{B} & \cdots & a_{1, n} \mathbf{B} \\ a_{2,1} \mathbf{B} & a_{2,2} \mathbf{B} & \cdots & a_{2, n} \mathbf{B} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m, 1} \mathbf{B} & a_{m, 2} \mathbf{B} & \cdots & a_{m, n} \mathbf{B} \end{array}\right] $$

偏导数

标量对标量的偏导数：$\frac{\partial u}{\partial v}$ 。
标量对向量（ $n$ 维向量）的偏导数： $\frac{\partial u}{\partial \overrightarrow{\mathbf{v}}}=\left(\frac{\partial u}{\partial v_{1}}, \frac{\partial u}{\partial v_{2}}, \cdots, \frac{\partial u}{\partial v_{n}}\right)^{T}$。
标量对矩阵( $m \times n$阶矩阵)的偏导数：

$$ \frac{\partial u}{\partial \mathbf{V}}=\left[\begin{array}{cccc} \frac{\partial u}{\partial V_{1,1}} & \frac{\partial u}{\partial V_{1,2}} & \cdots & \frac{\partial u}{\partial V_{1, n}} \\ \frac{\partial u}{\partial V_{2,1}} & \frac{\partial u}{\partial V_{2,2}} & \cdots & \frac{\partial u}{\partial V_{2, n}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial u}{\partial V_{m, 1}} & \frac{\partial u}{\partial V_{m, 2}} & \cdots & \frac{\partial u}{\partial V_{m, n}} \end{array}\right] $$

向量（ $m$维向量）对标量的偏导数：$\frac{\partial \overrightarrow{\mathbf{u}}}{\partial v}=\left(\frac{\partial u_{1}}{\partial v}, \frac{\partial u_{2}}{\partial v}, \cdots, \frac{\partial u_{m}}{\partial v}\right)^{T}$ 。
向量（ $m$维向量）对向量 ( $n$维向量) 的偏导数（雅可比矩阵，行优先）如果为列优先，则为矩阵的转置。

$$ \frac{\partial \overrightarrow{\mathbf{u}}}{\partial \overrightarrow{\mathbf{v}}}=\left[\begin{array}{cccc} \frac{\partial u_{1}}{\partial v_{1}} & \frac{\partial u_{1}}{\partial v_{2}} & \cdots & \frac{\partial u_{1}}{\partial v_{n}} \\ \frac{\partial u_{2}}{\partial v_{1}} & \frac{\partial u_{2}}{\partial v_{2}} & \cdots & \frac{\partial u_{2}}{\partial v_{n}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial u_{m}}{\partial v_{1}} & \frac{\partial u_{m}}{\partial v_{2}} & \cdots & \frac{\partial u_{m}}{\partial v_{n}} \end{array}\right] $$

矩阵( $m \times n$阶矩阵)对标量的偏导数

$$ \frac{\partial \mathbf{U}}{\partial v}=\left[\begin{array}{cccc} \frac{\partial U_{1,1}}{\partial v} & \frac{\partial U_{1,2}}{\partial v} & \cdots & \frac{\partial U_{1, n}}{\partial v} \\ \frac{\partial U_{2,1}}{\partial v} & \frac{\partial U_{2,2}}{\partial v} & \cdots & \frac{\partial U_{2, n}}{\partial v} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial U_{m, 1}}{\partial v} & \frac{\partial U_{m, 2}}{\partial v} & \cdots & \frac{\partial U_{m, n}}{\partial v} \end{array}\right] $$