线性变换

线性变换在这个词在先线代课上听过无数次了，但在接触一些关于线性变换算法的时候，总是很难理解到位，今天看了一会，把自己的理解和心得记在下面啦！

先看一个式子

$\begin{bmatrix} 3 & 0\\ 1 & 2\\ \end{bmatrix} \begin{bmatrix} i \\ j \\ \end{bmatrix} = \begin{bmatrix} 3i \\ i + 2j \\ \end{bmatrix}$

在一个正常的没有经过变换的向量 $(i, j)^T$ 经过左乘了一个方阵变换成了另一个向量 $(3i, i+2j)^T$。

如下图

看起来整个空间都被拉高拉长了，平面上的每一个点 $\mathbf x$ 都去了新的位置 $\mathbf x’$：

$\mathbf x' = A\mathbf x$

再换一种表达方式来表达一个点 $\mathbf x$ 因为某种映射到达了 $\mathbf x’$：

$\begin{bmatrix} x \\ y \\ \end{bmatrix} \Rightarrow \begin{bmatrix} f_1(x, y) \\ f_2(x, y) \\ \end{bmatrix} = \begin{bmatrix} \begin{align} &3x \\ &x+2y \\ \end{align} \end{bmatrix}$

如果所有的 $f_i$ 均为线性函数（而且没有常数项），那么这种从一空间到另一空间的变换就被称为线性变换。

而矩阵 $A$ 的行列式则代表了变换之后空间伸缩或者扩张的程度。比如上图中 $\det(A) = 6$，则说明空间被线性拉伸了 $6$ 倍。

雅可比矩阵(Jacobi Matrix)

当然了，如果函数 $f_i$ 中若存在非线性函数，变换则成为了非线性变换。举个例子

$\begin{bmatrix} x \\ y \\ \end{bmatrix} \Rightarrow \begin{bmatrix} f_1(x, y) \\ f_2(x, y) \\ \end{bmatrix} = \begin{bmatrix} x+\sin(y) \\ y+\sin(x) \\ \end{bmatrix}$

那么我能不能用一个矩阵来表示呢？解答之前，复习一下关于一阶偏导数的知识。

假设某一一阶可导的二元函数 $f(x,y)$，可知 $f$ 关于 $x,y$ 的偏导数

$\frac{\partial f}{\partial x} = \lim_{\varDelta x\to 0} \frac{f(x+\varDelta x, y)-f(x,y)}{\varDelta x}\\ \frac{\partial f}{\partial y} = \lim_{\varDelta y\to 0} \frac{f(x+\varDelta x, y)-f(x,y)}{\varDelta x}$

$\frac{\partial f}{\partial x},\frac{\partial f}{\partial y} $ 用来表示在某一点 $\mathbf x$ 处分别对于 $x,y$ 方向的变化趋势，并且有专门的梯度 $\nabla f(x,y)$ 概念来表示该点的变化方向与大小。

那么同样的，对于某个非线性变换空间上的一点 $\mathbf x$，有没有能形容这种非线性变换的向量或者矩阵来表示没每一点的变化方向呢？有的！这就是雅可比矩阵。

以上面那个例子为例，定义

$J_f(x,y)= \begin{bmatrix} \frac{\partial f}{\partial x} & \frac{\partial f}{\partial y} \\ \end{bmatrix} = \begin{bmatrix} \frac{\partial f_1}{\partial x} & \frac{\partial f_1}{\partial y} \\ \frac{\partial f_2}{\partial x} & \frac{\partial f_2}{\partial y} \end{bmatrix}$

可以这么理解：$\frac{\partial f}{\partial x}$ 这一项表示在点 $\mathbf x$ 周围很小的尺度范围内，水平分量 $(\varDelta x，0)$ 变化成了 $(\frac{\partial f_1}{\partial x} ，
\frac{\partial f_2}{\partial x} )^T$，竖直分量 $(0,\varDelta y)$ 变化成了 $(\frac{\partial f_1}{\partial y} ，
\frac{\partial f_2}{\partial y} )^T$。如果类比线性变换 $A$，那么就会得到

$A = J_f(x,y)$

因为在线性变换中每一点的运动趋势都是一样的，所以 $A$ 是一个常数矩阵。而非线性变换每个位置的变换方向与拉伸程度都有不同，所以针对不同的点，雅可比矩阵的结果可能不同。

如果雅可比矩阵是个方阵，则与线性变换矩阵类似，$\det(J_f)$ 被称为雅可比行列式，用来描述在某一点 $\mathbf x$ 非线性变换之后空间伸缩或者扩张的程度。