行列式
谈到线性代数时有两个基本概念：行列式，矩阵。
说到行列式我们应该明确一点：行列式表达的是一个具体的值，他的表现形式为
$$
\left| \begin{array}{c}
a_{\text{1,}1},, a_{\text{1,}2}\
a_{\text{2,}1},,a_{\text{2,}2}\
\end{array} \right|
$$
行列式一定是n*n的类型。
行列式的计算法则：
在讲解行列式的计算方式前，先介绍主对角线和负对角线的区别。
$$
\left| \begin{array}{c}
a_{\text{1,}1},, a_{\text{1,}2},, a_{\text{1,}3},,\
a_{\text{2,}1},, a_{\text{2,}2},,a_{\text{2,}3}\
a_{\text{3,}1},, a_{\text{3,}2},,a_{\text{3,}3}\
\end{array} \right|
$$
在这个行列式中国a11 a22 a33 和a21 a 32 a13等都为主对角线上的元素 ，而副对角线是a13 a22 a31 ,a12 a21 a33和a11 a23 a32属于副对角线。一般来说几阶行列式就会有多少个主负对角线。
然后介绍行列式的计算法则：就是把所有主对角线的乘积和减去副对角线乘积和，以上面的行列式来讲就是：
(a11 X a22 X a33) + (a12 X a23 X a31)+(a13 X a21 X a32) - (a13 X a22 X a31) - (a12 X a21 X a33) - (a11 X a23 X a32)
下面介绍相关性质：
行列式与它的转置行列式相等（转置行列式就是原来的a12 变成a21,也就是行和列的值换个位置)
对换行列式任意两行/列,行列式变号。
如果行列式有两行/列相等，则行列式为0，可用2来证明。
如果行列式中的某一行/列都是两数之和，则可以把行列式进行拆分。
$$
\left| \begin{array}{c}a+b\,\, e\\ f+g\,\, n\\\end{array} \right|=\left| \begin{array}{c}
a\,\, e\\ f\,\, n\\\end{array} \right|+\left| \begin{array}{c}
b\,\, e\\ g\,\, n\\\end{array} \right|
$$把行列式的某一行(列)的各个元素乘同一个数后再加到另一行(列)对应的元素上去，行列式值不变。
代数余子式的概念： $A_{ij}$ 就是在n阶行列式中把(i,j)中第i行第j列划去后留下的行列式叫$a_{ij}$的余子式$M_{ij}$
而 $A_{ij}$ =$(-1)^{i+j}M_{ij}$
矩阵
与行列式不同，矩阵代表的不是一个具体的值而是一个数表，同时其本身也不再限定行和列必须相同。
矩阵的来源可以说是为了解决线性方程有无解的一种工具。
对于行数和列数相同的矩阵叫做n阶矩阵或者n阶方阵。
3阶单位矩阵
$$
\left( \begin{array}{c}
\text{1 0 }0\
\text{0 1 }0\
\text{0 0 }1\
\end{array} \right)
$$
对于矩阵的加减法必须是相同形状的矩阵对应元素加减。
矩阵乘法可以说是矩阵的一大特色了，
矩阵A*矩阵B=矩阵C
那么对于$C_{ij}$ 来说是矩阵A的第 i 行的各个元素×矩阵B第j列的各个元素，这也就表明了对于两个矩阵相乘前一个矩阵的列数必须等于后一个矩阵的行数，且矩阵乘法不满足交换律 。
下面介绍矩阵的逆：
跟整数中的逆的概念一样一个数乘以一个数的逆等于1
M* $M^-1$= E (这也表明了如果一个矩阵有逆，则该矩阵对应的行列式一定不为0，且该矩阵一定为方阵)。
$A^-1$ =$\frac{1}{|A|}A^$ 这里的|A| 表示的是矩阵A所对应的行列式 A表示的是伴随矩阵
A*:
$$
\left( \begin{array}{c}
A_{11},, A_{21},, A_{31}\
A_{12},, A_{22},, A_{32}\
. . .\
. . .\
A_{1n},, A_{2n},, A_{3n}\
\end{array} \right)
$$
还记得$A_{ij}$的意思吗？ 看清楚这里的顺序！
接下来介绍几个关于逆矩阵的性质：
$x\in R$ 则$（λM)^{-1}=\frac{1}{\lambda}M^{-1}$
若A，B同阶且都可逆，$(AB)^{-1}=B^{-1}A^{-1}$
矩阵子式
任取k行k列，这k方个元素在不改变其原本次序的情况下所组成的矩阵就叫做矩阵A的子式。也就是取矩阵A的第1，2，3行，第2，3，6列这九个元素，按照在原来矩阵的相对位置重新放在一个空矩阵中，就叫做矩阵A的3阶子式。由此就引出了矩阵秩的概念：矩阵最大的k阶子式。
意思是若此时阶数最大的k阶子式所对应的行列式不为0，任一K+1阶子式对应的行列式为0，则该矩阵的秩为k。
正交矩阵
若对n阶矩阵A若$A^TA=E$ 则称A为正交阵。这从另一个方向表明A的每个列向量都是单位向量，且两两列向量正交（不明白，自己可以找个矩阵试一下）
接下俩就要介绍一下其他跟矩阵论相关的概念
范数
有时候我们需要衡量一个向量的大小。在机器学习中，我们经常使用称为范数的函数来衡量向量大小
形式上范数定义如下：
$$
||X^P||=(\sum_{i}|x_i|^p)^{\frac {1}{p}}
$$
其中$p\in R,p\geqslant1$
直观上来说，x的范数更像是衡量向量x到原点的距离，想一想是不是很想距离公式？
当p=2时，叫做二阶范数，也叫欧几里得范数表示为$L^2$范数，在机器学习中经常简写为||x||
特征分解
相信大家都知道整数可以分解为质因数，我们可以通过分解一个数来了解一个数的性质，比如$12=223$ ,从中我们可以知道12不能被5整除，但可以被3整除，同样的我们也可以通过分解一个矩阵来进一步了解其中的性质。
那么什么叫特征分解？
首先，我们先要知道什么叫特征向量，特征向量指的是与矩阵A相乘后相当于对该向量进行放缩的非零向量v
Av=λv
其中标量λ就叫做特征向量对应的特征值。
如果v是A的特征向量，则任何缩放的sv（$s\in R$）也是A的特征向量。
如果矩阵A有n个线性无关的特征向量（这个线性无关指的是这n个向量中的任何1个向量都不能被n-1个向量所构成$v_i \neq k_0v_0+k_1v_1+…+k_{n-1}v_{n-1}(k0,k1 \in R)$ ，那么这n个线性无关的特征向量也就会对应着n个特征值$\lambda _n$
此时，矩阵A的特征分解就可以表示为：$A=V diag(\lambda)V^T$ 这里的diag表示对角矩阵 (想一想这个关系式子是怎么来的？)
一般来说，实对称矩阵都可以分解为特征向量和特征值。
在这里你可以自己做一个运算来进一步发现特征分解的秘密，矩阵A有两个标准正交的特征向量（自己随便造一个），其特征值为λ0和λ1，你让矩阵A左乘上一个单位向量组成的矩阵（也就是在二维坐标系下是一个圆形），再画出乘积过后的图形，发现圆形将会按照你自己造的两个特征向量的方向放缩了特质值倍。
迹运算
Tr(A)就是矩阵A的对角线和
