掌握这些关键线性代数概念，成为真正的机器学习高手

时间：11-22 现代故事提交错误

矩阵和方程组

你还记得如何求解n*n方程组吗？这一项称为“回代法”，即将其转化为三角方程组，然后一一代入求解

我一直不明白“代数”中的“代”是什么意思，现在终于明白了。 Generation在英语中是substitution，即替代的意思。从初中到现在，我一直认为“代数”就是“替代”

系数矩阵英文称为coefficient matrix。难怪你在阅读开源代码时经常会遇到名为coe 的变量名。原来是从这里来的。

你还记得“导数”和“可微分”吗？还有人不知道“指导”是什么意思吗？英文derivative（意思是派生、衍生）似乎不是修饰的意思，而是音译。

矩阵是数字的矩形数组。简单得不能再简单了。

n*n的矩阵称为方阵。连傻子都知道这一点。

系数矩阵加上一列右侧项的矩阵称为增广矩阵。英文称为增广矩阵，写为：(A|B，是不是叫“增广矩阵二”？

行阶梯矩阵，这次有点难了，看起来像这样：非零行数比行数少，第一个元素为1，数字在右边

高斯消元法：将增广矩阵转化为行阶梯矩阵

超定方程组：方程数多于未知数数

行的最简单形式：行阶梯形状，每行中的第一个非零元素是列中唯一的非零元素

Gauss-Jordan 消去法：一种将矩阵转化为最简形式的方法

齐次方程组（齐次）：右手术语全为零。齐次方程组总是有解

平凡解是零解(0,0,0,0)。能不能别说这么小事……

非平凡解：非零解的解

x上方添加水平箭头表示水平数组（行向量），否则表示列向量。不同书上的记法不一样，我们这样记吧

对称矩阵的性质：转置等于自身

如果A=(1)，则An=(2n-1)

如果AB=BA=I，则称A是可逆的，或者A是非奇异的，B称为A的逆元素，记为A-1

如果一个矩阵没有乘法逆元，则称为奇异矩阵。

(AB)-1=B-1A-1

(AB)T=BTAT

图的邻接矩阵（如果连通则为1，否则为0）是对称的

初等矩阵：与方程两端相乘，得到行阶梯形。初等矩阵是非奇异的，即它有一个逆矩阵

如果B=多个初等矩阵乘以A，则A 和B 是行等价的。

如果A和I等价，则Ax=0只有平凡解0，A有逆矩阵A-1，即A是非奇异的。此时Ax=b有唯一解。

求逆的方法：将增广矩阵A|I变换为行列，将A变为I，则I变为A-1

对角矩阵：对角线以外的元素全部为0

如果仅使用行运算就可以将A 简化为严格的上三角，则A 具有LU 分解，L 是单位下三角矩阵，矩阵值是变换中使用的系数。这称为LU 分解

矩阵分块后满足矩阵乘法规则。

内积也称为标量积：行向量和列向量的乘积产生一个数字

外积：列向量和行向量的乘积，得到一个矩阵

外积展开：两个矩阵分别用向量表示，它们的乘积可以表示为外积展开。

行列式

行列式：包含在两条垂直线之间的数组

每个方阵都可以对应其行列式。行列式的值表示方阵是否奇异。

行列式算法：展开一行，将每个数字乘以它的余因子，然后加上总和

如果方阵的行列式非零，则方阵是非奇异的

det(A) 可以表示为A 的任意行或列的辅因子展开式

三角矩阵的行列式等于对角线元素的乘积

交换矩阵两行，行列式变为原来的负数，即det(EA)=-det(A)

当矩阵的某一行乘以a时，行列式就变成了原值的a倍，即det(EA)=adet(A)

将矩阵的一行乘以a 并与另一行相加，行列式保持不变。

如果一行是另一行的倍数，则矩阵行列式为零

det(AB)=det(A)det(B)

adj A：矩阵的伴随，用辅因子替换元素并转置

反演方法：A-1=(1/det(A)) adj A，求导：A(adj A)=det(A)I 所以A(((1/det(A)) adj A)=I

克莱默规则：Ax=b 的唯一解是xi=det(Ai)/det(A)。这是使用行列式求解线性方程的便捷方法。

信息加密方法：求行列式为正负1的整数矩阵A，A-1=+-adj A很好求，乘以A加密，乘以A-1解密，A的构造方法：单位矩阵的初等变换

向量积也是向量

在微积分中，x被视为行向量，在线性代数中，x被视为列向量。

假设x和y是行向量，则x*y=(x2y3-y2x3)i-(x1y3-y1x3)j+(x1y2-y1x2)k，其中i、j、k是单位矩阵的行向量

矢量积可用于定义副法线方向

xT(x*y)=yT(x*y)=0，表示向量积与向量的夹角为0

向量空间

向量空间：该集合满足加法和标量乘法运算。标量通常指实数。

子空间：向量空间S的子集本身就是向量空间。这个子集称为子空间。

除{0}和向量空间本身外，其他子空间称为真子空间，与真子集的概念类似。 {0} 称为零子空间。

Ax=0的解空间N(A)称为A的零空间。也就是说，Ax=0线性方程组的解空间构成了向量空间。

向量空间V中多个向量线性组合形成的集合就成为这些向量的跨度，记为span(v1,v2,vn)

span(e1,e2) 是R3 的子空间，几何上表示为x1x2 平面中所有3 维空间的向量

跨度(e1,e2,e3)=R3

如果span(v1,v2,v3)=R3，则向量v1,v2,v3生成R3，{v1,v2,v3}是V的span集

最小Zhang集合意味着其中没有冗余向量。

最小展开集的判断方法是：这些向量的线性组合=0只有0个解。在这种情况下，这些向量是线性无关的。如果存在非零解，则称它们是线性相关的。

从几何角度来看，二维向量之间线性相关相当于平行，三维向量之间线性相关相当于在同一平面内。

如果构成矩阵的向量的行列式det(A)=0，则线性相关，否则线性无关。

线性无关向量唯一线性组合来表示任何向量

最小散布集构成向量空间的基础。 {e1,e2.en}称为标准基。基向量的数量就是向量空间的维数。

传递矩阵：将坐标从一组基数转换到另一组基数的转换矩阵。

由A 的行向量跨越的R1*n 子空间成为A 的行空间，由A 的列向量跨越的Rm 子空间成为A 的列空间。

A的行空间的维数就成为A的秩。求A的秩的方法：将A变换为行梯形。非零行的数量就是排名。

矩阵零空间的维数成为矩阵的零度。一般来说，秩和零度之和等于矩阵的列数。

m*n矩阵的行空间维度等于列空间维度

线性变换

线性变换：L(av1+bv2)=aL(v1)+bL(v2)

线性运算符：向量空间到其自身的线性变换

典型的线性算子距离：ax（伸长或压缩a倍）、x1e1（到x1轴的投影）、(x1,-x2)T（关于x1轴对称）、(-x2,x1)T逆时针旋转90度

判断是否是线性变换，看这个变换能否转化为m*n矩阵。

线性变换L的核记为ker(L)，表示线性变换后向量空间中的0向量。

子空间S的图像记为L(S)，表示向量在子空间S上的L变换的值。

整个向量空间的图像L(V)就变成了L的范围

ker(L) 是V 的子空间，L(S) 是W 的子空间，其中L 是从V 到W 的线性变换，S 是V 的子空间

从以E为有序基的向量空间V到以F为有序基的向量空间W的线性变换的矩阵A称为表示矩阵

B为[u1,u2]对应的L的表示矩阵，A为[e1,e2]对应的L的表示矩阵，U为[u1,u2]到[e1,e2]的转移矩阵，则B=U -1AU

如果B=S-1AS，则称B与A相似

如果A和B是同一个线性算子L的表示矩阵，则A和B相似

正交性

如果两个向量的标量积为零，则称它们是正交的。

R2 或R3 中向量x 和y 之间的距离为： ||x-y||

xTy=||x|| ||y|| cos ，即cos =xTy/(||x|| ||y||)

假设方向向量u=(1/||x||)x，v=(1/||y||)y，则cos=uTv，即夹角余弦等于标量单位向量的乘积

柯西-施瓦茨不等式： |xTy|=||x|| ||y||，当且仅当存在0 向量或多重关系时，等号才成立

标量投影：矢量投影的长度，=xTy/||y||

矢量投影：p=(xTy/||y||)y=(xTy/yTy)y

对于R3：||x*y||=||x|| ||y||正弦

当x和y正交时，||x+y||2=||x||2+ ||y||2，称为毕达哥拉斯定律

c2=a2+b2称为毕达哥拉斯定理，实际上是毕达哥拉斯定理。

余弦用于判断相似度

U是由向量组成的矩阵。 C=UTU 对应于每行向量的标量积值。这个矩阵表示相关程度，即相关矩阵。正值表示正相关，负值表示负相关，值为0就是不相关

协方差：x1和x2是两组相对平均值的偏差向量，协方差cov(X1,X2)=(x1Tx2)/(n-1)

协方差矩阵S=1/(n-1) XTX，矩阵的对角线元素是三个分数集的方差，非对角线元素是协方差

正交子空间：如果从向量空间的两个子空间中的每一个子空间取出的向量是正交的，则子空间是正交的。例如，z轴子空间和xy平面子空间是正交的

子空间Y的正交补：它是一个集合，其中每个向量都与Y正交

正交补也必须是子空间

A的列空间R(A)是A的取值范围，即Rn中的x向量，列空间中的b=Ax

R(AT)的正交空间是零空间N(A)，也就是说A的列空间与A的零空间正交。

S是Rn的子空间，则S的维数+S正交空间的维数=n

S是Rn的子空间，那么S的正交空间的正交空间就是它本身

使用最小二乘法来拟合平面上的点集

最小二乘解是最接近b的向量p=Ax，向量p是b在R(A)上的投影

最小二乘解x 的残差r(x) 必须属于R(A) 的正交空间

残差：r(x)=b - Ax

ATAx=ATb 称为正规方程组。它有唯一解x=(ATA)-1ATb，这是最小二乘解。投影向量p=A(ATA)-1ATb 是R(A) 中的元素

插值多项式：通过平面上n+1个点的不超过n次的多项式

定义了内积的向量空间称为内积空间

标量内积是Rn中的标准内积，加权和也是内积。

内积表示为，内积需要满足：=0;=;=a+b

a=/||v||是从u 到v 的标量投影

p=(/) v 是从u 到v 的向量投影

柯西-施瓦茨不等式： ||=||u|| ||v||

范数：定义实数||v||与向量关联，满足||v||=0； ||av||=|a| ||v||; ||v+w||=||v|| + ||w||

||v||=()^-1 是范数

||x||=sigma|xi|是一种常态

||x||=max|xi|是一种常态

一般来说，范数给出了一种测量两个向量之间距离的方法

如果v1,v2,vn=0，则{v1,v2,vn} 成为正交向量集

正交集中的向量都是线性无关的

规范正交向量集是单位向量的正交集，规范正交集=1，里面的向量称为规范正交基

正交矩阵：列向量形成规范正交基

矩阵Q是正交矩阵。重要条件是QTQ=I，即Q-1=QT

乘以一个正交矩阵，内积不变，即=

乘以正交矩阵仍然保持向量长度，即||Qx||=||x||

置换矩阵：重新排列单位矩阵的列

如果A 的列向量形成规范正交集，则最小二乘问题可求解为x=ATb

向量b 在非零子空间S 到S=UUTb 的投影p，其中U 是S 的一组规范正交基，其中UUT 是到S 上的投影矩阵

要使用次数不超过n 的多项式来近似连续函数，可以使用最小二乘近似。

线性函数在一定取值范围内的子空间。内积形式是两个函数在取值范围内的乘积的积分。

将FN乘以向量z计算离散傅里叶系数d的方法称为DFT算法（Discrete Fourier Transform）

FFT（快速傅里叶变换），使用矩阵分块，比离散傅里叶变换快8w倍以上

Gram-Schmidt正交化过程： u1=(1/||x1||)x1, u2=(1/||x2-p1||) (x2-p1),直接给出一组规范正交化基础

Gram-Schmidt QR分解：如果m*n矩阵A的秩为n，则A可以分解为QR，Q是具有正交列向量的矩阵，R是上三角矩阵，对角线元素均为正，具体算法：

r11=||a1||，其中r11是对角矩阵第一列的第一个元素，a1是A的列向量，

rkk=||ak-p(k-1)||, rik=qiTak, a1=r11q1

Ax=b 的最小二乘解为x=R-1QTb，其中QR 是分解矩阵。使用回代法求解Rx=QTb即可得到解x。

通过选择一组正交基来逼近函数，可以简化使用多项式拟合数据和逼近连续函数的过程

多项式序列p0(x), p1(x), 的下标是最高次。如果=0，则{pn(x)}成为正交多项式序列。如果=1，则称为规范正交多项式序列。

经典正交多项式：勒让德多项式、切比雪夫多项式、雅可比多项式、埃尔米特多项式、拉盖尔多项式

勒让德多项式：在积分p(x)q(x)dx 意义上正交，内积=-1 到1，(n+1)P(n+1)(x)=(2n+1)xPn (x )-nP(n-1)(x)

切比雪夫多项式：在积分p(x)q(x)(1-x2)-1/2dx 意义上正交，内积=-1 到1，T1(x)=xT0(x)，T(n + 1)(x)=2xTn(x)-T(n-1)(x)

拉格朗日插值公式：P(x)=sigma f(xi) Li(x)

拉格朗日函数Li(x)=(x-xj) 连续积/(xi-xj) 连续积

f(x)w(x) 从a 到b 的积分可以简化为sigma Li(x)w(x) 从a 到b 的积分f(xi)

特征值

矩阵变换后向量保持不变，稳定后的向量称为过程的稳态向量。

如果存在非零x使得Ax=x，则称为特征值，x为属于的特征向量。特征值是表示线性变换算子的固有频率的比例因子。

子空间N(A-I) 称为特征值对应的特征空间

det(A-I)=0称为矩阵A的特征方程，求解特征方程即可计算出

12.n=det(A)，即所有特征值的连续乘积等于矩阵A的行列式的值

sigma i=sigma aii，所有特征值之和等于矩阵对角线元素之和

A 的对角线元素之和称为A 的迹，记作tr(A)

相似矩阵：B=S-1AS

相似的矩阵具有相同的特征多项式和相同的特征值

线性微分方程的解可以使用特征值特征向量。 Y"=AY, Y(0)=Y0 形式的解为ae(t)x，其中x 是向量。这样的问题称为初值问题。如果有很多特征值，那么解可以是多个ae(t)x的线性组合

任何高阶微分方程都可以转化为一阶微分方程，并且一阶微分方程可以使用特征值和特征向量来求解。

矩阵A的不同特征值的特征向量是线性无关的

如果存在X使得X-1AX=D，并且D是对角矩阵，则A被称为可对角化的。

如果A 有n 个线性独立的特征向量，则A 可对角化

对角化矩阵的列向量

An=XDnX-1，所以分解A=XDX-1后，很容易计算幂

如果A的线性独立特征向量少于n个，则称A是简并的（有缺陷的），并且简并矩阵不可对角化

特征值和特征向量的几何理解：矩阵A的特征值为2，特征空间由e3跨越，可以看做几何重数为1

矩阵B的特征值为2，特征向量有两个x=(2,1,0)和e3，可以看做几何重数为2。

随机过程：一系列试验，其中每一步的输出取决于概率

马尔可夫过程：可能的输出或状态的集合是有限的；下一步的输出仅取决于上一步的输出，并且概率相对于时间是恒定的

如果1是传递矩阵A的特征值，那么马尔可夫链将收敛到稳态向量

如果A 的某个幂的元素全部为正，则具有传递矩阵A 的马尔可夫过程称为正则过程。

PageRank算法可以看作是浏览网页的马尔可夫过程。通过求稳态向量就可以得到每个网页的pagerank值。

A 的奇异值分解：将A 分解为乘积UVT，其中U 和V 是正交矩阵。矩阵对角线以下的元素全部为0，对角线元素一一减少。线上的值称为奇异值

A 的秩等于非零奇异值的数量

A 的奇异值等于特征向量的平方根

若A=UVT，则上面ATuj=jvj，下面ATuj=0，其中vj称为A的右奇异向量，uj称为A的左奇异向量

奇异值分解的压缩形式：U1=(u1,u2,ur), V1=(v1,v2,vr), A=U11V1T

奇异值分解的解题过程：首先计算ATA的特征值来计算奇异值，同时计算特征向量。从特征向量中，得到正交矩阵V，找到N(AT)的一组基，并将它们转换为规范正交基。形成U，最终得到A=UVT

数值等级是有限位精度计算中的等级，而不是精确的等级。通常，假定较小的epsilon 值。如果奇异值小于它，则认为是0。这就是计算数值排名的方法。

将用于存储图像的矩阵进行奇异值分解，去除较小的奇异值，得到较小的秩矩阵，从而实现压缩存储。

信息检索中去除小奇异值得到的近似矩阵可以大大提高检索效率，减少错误。

二次形式：与每个二次方程相关的向量函数f(x)=xTAx，即二次方程的ax2+2bxy+cy2部分

ax2+2bxy+cy2+dx+ey+f=0 该图是圆锥曲线。如果无解，则称为虚圆锥曲线。如果只有一个点、一条直线、两条直线，则称为退化圆锥曲线。不是退化圆锥曲线是圆、椭圆、抛物线和双曲线

关于x 和y 的二次方程可以写为xTAx+Bx+f=0，其中A 是2*2 对称矩阵，B 是1*2 矩阵。如果A是非奇异的，利用坐标轴的旋转和平移，那么它就简化为1(x")2+2(y")2+f"=0，其中1和2是的特征值A. 如果A 是奇异的并且只有一个特征值为零，则简化为1(x")2+e"y"+f"=0 或2(x")2+d"x"+f"=0

如果二次形式f(x)=xTAx 对所有x 有符号，则称为定二次形式。如果符号为正，则称为正定。相应的形式称为负定形式。如果符号不同，则称为不定（indefinite），如果可能=0，则称为正半定（ Positive semidefinite ），半定（ Negative semidefinite ）

如果二次形式是正定的，则称A 是正定的。

一阶偏导数存在且为0 的点称为驻点。驻点是最小值点、最大值点还是鞍点取决于A 是正定、负定还是不定。

对称矩阵是正定的当且仅当它的所有特征值都是正的

r阶预主子矩阵：删除n-r行和列得到的矩阵

如果A是对称正定矩阵，那么A可以分解为LDLT，其中L是下三角且对角线上的元素为1，D是对角线元素均为正的对角矩阵

如果A是对称正定矩阵，则A可以分解为LLT，其中L是下三角且其对角线元素均为正

对于对称矩阵，以下结论是等效的： A 是正定的；第一个主子矩阵都是正定的；仅使用行运算即可将A 变换为上三角形式，且主元均为正； A 具有Chuleski 分解LLT（其中L 是对角线元素为正的下三角矩阵）； A可以分解为乘积BTB，其中B是非奇异矩阵

非负矩阵：所有元素都大于或等于0

一个非负矩阵A，如果下标集合{1,2,n}可以分为非空不相交集合I1和I2，那么当i属于I1，j属于I2时，aij=0，则可约，否则不可约

数值线性代数

舍入误差（round off error） : 四舍五入后的浮点数x" 与原始数x 的差值

绝对误差：x"-x

相对误差：(x"-x)/x，通常用符号表示，||可以被一个正常数限制，称为机器epsilon

高斯消去法涉及最少的算术运算，因此被认为是最有效的计算方法

求解Ax=b的步骤：将A乘以n个初等矩阵得到上三角矩阵U，将初等矩阵求逆并相乘得到L，则A=LU，其中L为下三角矩阵。一旦A简化为三角形式，LU分解确定，则方程的解为：LUx=b，令y=Ux，则Ly=b，因此通过求解下三角方程即可求出y，求出y后，求解Ux=y，即可得到x

矩阵的弗罗贝尼乌斯范数记为||·||F，求其所有元素平方和的平方根。

若A的奇异值分解为A=UVT，则||A||2=1（最大奇异值）

矩阵范数可用于估计线性方程组对系数矩阵微小变化的敏感性

将x"代回原方程组，观察b"=Ax"与b的接近程度，检验准确性。 r=b-b"=b-Ax"称为残差，||r||/||b ||称为相对残差

奇异值是矩阵接近奇异性的程度的度量。矩阵越接近奇点，它的病态程度就越严重。

由向量v和标量可以得到Housener变换矩阵H，因此节省了存储v和的空间。

主特征值是指最大特征值

求主特征值的方法：幂法。

求特征值的方法：QR算法。将A分解为乘积Q1R1，其中Q1是正交的，R1是上三角的，A2=Q1TAQ1=R1Q1，将A2分解为Q2R2，定义A3=Q2TA2Q2=R2Q2，如此继续下去，得到相似的矩阵序列Ak=QkRk，最终会收敛到类似上三角矩阵的东西，对角线上有1*1 或2*2 的对角块。对角线块的特征值就是A的特征值。

最后总结

奇异值分解是这种线性变换的解构，A=，是两组正交单位向量，它们是对角矩阵，表示奇异值。表明A矩阵的作用是从这组正交单位向量变换出一个向量。将交集基向量的空间旋转到这组正交基向量空间，并在每个方向上进行一定的缩放。比例因子是每个奇异值。如果尺寸比例较大，则表示也进行了投影。可以说，奇异值分解描述了矩阵的完整功能/特征。

特征值分解实际上只描述了矩阵的部分函数。特征值、特征向量由Ax=x得到，也就是说如果一个向量v在A的特征向量方向，那么Av对v的线性变换作用只是一个缩放。也就是说，在求特征向量和特征值的过程中，我们找到了一些方向，通过矩阵A对向量进行旋转和缩放变换（由于特征值只针对方阵，没有投影变换）到a一定程度上。它抵消了，变成纯缩放（这个缩放比例可能与奇异值分解中的缩放比例不同）。

总结一下，特征值分解只是告诉我们，在特征向量的方向上，矩阵的线性变化相当于简单的缩放。其他方向不清楚，所以我说它只代表了矩阵的部分特征。奇异值分解清晰地分析和表达了矩阵中原本隐含的旋转、缩放、投影三个函数。这是一个完整的矩阵特征分析。