机器学习：数学基础（线性代数篇）

前言
近期在自学机器学习，把笔记做个整理，以方便查阅和整理知识框架。喜欢探讨机器学习或者Android开发技术的同学可以加学习小组QQ群: 193765960。

本文是机器学习的第一篇，因为我本人对机器学习的整个理解有限，就不再给大家一本正经的胡说八道了，以免误人子弟，仅是根据自己的理解做一个学习笔记，如果有大牛发现我这个小菜鸟的学习路线跑偏了，还希望能够提醒一下哈，在此表示感谢。

版权归作者所有，如有转发，请注明文章出处：https://xiaodanchen.github.io/archives/

数学基础教材名目（我自己根据理解指定的，不一定准确）

• 线性代数（同济大学 第四版）
• 概率论与数理统计（浙江大学 第三版）
• 复变函数（西安交通大学 第四版）
• 随机过程极其应用（陆大絟 清华大学）

线性代数

第一章 行列式

概念：

1. 行列式是一个算术表达式的矩阵式的表达方式，比如表达式{% math%}a_{11}a_{22} - a_{12}a_{21} {% endmath%}的二阶行列式表示为：
   {% math%}
   \begin{vmatrix}
   a_{11}\ \ a_{12} \
   a_{21}\ \ a_{22}
   \end{vmatrix}
   {% endmath%}
   $a_{ij}$称为行列式的元素或元
2. 全排列及其逆序数

• 把n个元素排成一列就叫这n个元素的一个全排列，简称排列。
• 对n个元素规定好一个标准的次序，对于这n个元素的任何一个排列，如果任意两个元素相互的先后次序与标准排列中的次序不一致，就说有一个逆序。
• 一个排列中的逆序总数称为这个排列的逆序数
• 逆序数为奇数的排列称为奇排列，为偶数的排列称为偶排列。

3. n阶行列式(t是$p_1，p_2，...，p_n$相对于自然数列1，2，...n的逆序数)
   {% math%}
   \sum(-1)^ta_1p_1a_2p_2...a_np_n = \begin{vmatrix}
   a_{11}\ \ a_{12}\ ... a_{1n}\
   a_{21}\ \ a_{22}\ ... a_{2n}\
   .....\
   a_{n1}\ \ a_{n2}\ ... a_{nn}
   \end{vmatrix}= D
   {% endmath%}

4. 转置行列式$D^T$
   {% math%}
   D = \begin{vmatrix}
   a_{11}\ \ a_{12}\ ... a_{1n}\
   a_{21}\ \ a_{22}\ ... a_{2n}\
   .....\
   a_{n1}\ \ a_{n2}\ ... a_{nn}
   \end{vmatrix},D^T = \begin{vmatrix}
   a_{11}\ \ a_{21}\ ... a_{n1}\
   a_{12}\ \ a_{22}\ ... a_{n2}\
   .....\
   a_{1n}\ \ a_{2n}\ ... a_{nn}
   \end{vmatrix}
   {% endmath%}

定理及推论

1. 主对角线以下（上）的元素全为零的行列式叫做上（下）三角行列式，其算术表达式为对角线元素乘积。
2. 一个排列中，任意两个元素对换，排列改变奇偶性。
3. 奇数排列变成标准排列的对换次数为奇数，偶数排列对换成标准排列的次数为偶数。
4. 行列式与他的转置行列式相等
5. 互换行列式的两行（列）,行列式变号。
6. 行列式中如果有两行或两列成比例，则次行列式等于零。
7. 把行列式的某一行（列）的元素各自拆分成2个数字的和，则行列式的值等于拆分的两个子行列式的和
8. 把行列式的某一行（列）的各个元素乘以同一个数加到另一行（列）对应的元素上去，行列式不变。

余子式：在行列式中，把第{% math%}a_{ij}{% endmath%}元素所在的行和列删除后，剩余的行列式称为{% math%}a_{ij}{% endmath%}的余子式，计做{% math%}M_{ij}{% endmath%}。{% math%}A_{ij} = (-1)^{i+j}M_{ij}{% endmath%}称为{% math%}a_{ij}{% endmath%}的代数余子式。

9. 一个行列式，如果其中第i行所有元素除{% math%}a_{ij}{% endmath%}之外全为零，那么这个行列式等于{% math%}a_{ij}{% endmath%}与他的代数余子式{% math%}A_{ij}{% endmath%}的乘积。
10. 行列式等于他的任意一行（列）的各个元素与其对应的代数余子式的乘积之和。（行列式的按行、按列展开）

克拉默法则

含有n个未知数的n个线性方程的方程组
{% math%}
\left{\begin{matrix}
a_{11}x_1 + a_{12}x_2 + ...+ a_{1n}x_n = b_1\
a_{21}x_1 + a_{22}x_2 + ...+ a_{2n}x_n = b_2\
......\
a_{n1}x_1 + a_{n2}x_2 + ...+ a_{nn}x_n = b_n
\end{matrix}\right.
{% endmath%}
如果线性方程组的系数不等于零，即
{% math%}
D = \begin{vmatrix}
a_{11}\ \ a_{12}\ ... a_{1n}\
a_{21}\ \ a_{22}\ ... a_{2n}\
.....\
a_{n1}\ \ a_{n2}\ ... a_{nn}
\end{vmatrix}\neq 0,
{% endmath%}
那么，方程组有唯一解
{% math%}
x_1 = \frac{D_1}{D}, x_2 = \frac{D_2}{D},..., x_n = \frac{D_n}{D},
{% endmath%}
其中，{% math%}D_j(j = 1,2,...,n){% endmath%}是把系数行列式D中的第j列用方程式组右端的常数项替换后所得的n阶行列式。

根据克拉默法则，可以得出如下定理，

1. 如果n阶线性方程组的系数行列式不等于0，则方程组一定有唯一解。
2. 如果n元线性方程组无解或者有两个不同的解，则它的系数行列式必为0
3. 如果n元齐次方程组（方程组右端为0）的系数行列式不等于0，则齐次方程组没有非零解。
4. 如果齐次方程组有非零解，则它的系数行列式必为0.

第二章：矩阵及其运算

矩阵定义

1. 由{% math%}m \times n{% endmath%}个数排成的m行n列的数表称为m行n列矩阵，简称{% math%}m \times n{% endmath%}矩阵,记作
   {% math%}
   A = \begin{bmatrix}
   a_{11}\ \ a_{12}\ ... a_{1n}\
   a_{21}\ \ a_{22}\ ... a_{2n}\
   .....\
   a_{m1}\ \ a_{m2}\ ... a_{mn}
   \end{bmatrix}\neq 0,
   {% endmath%}
   简记作{% math%}A_{m \times n}{% endmath%}
2. 元素是实数的矩阵称为实矩阵，元素为复数的矩阵称为复矩阵
3. 行数和列数都为n的矩阵称为n阶方阵，记为{% math%}A_n{% endmath%}
4. 只有一行的矩阵称为行矩阵，又叫做行向量
5. 只有一列的矩阵称为列矩阵，又叫做列向量
6. 两个行数和列数均分别相等的矩阵，称为同型矩阵

{% math%}

{% endmath%}