机器学习的重要工具-线性代数

 1.简述

线性代数的知识是机器学习中的基础原理，这对我们了解机器学习有很大的帮助，例如机器学习中的深度学习，他能帮助我们了解内部算法是如何运行的，从而我们才能更好地进行决策，所以了解线性代数中基础算法，如矩阵求导、矩阵间的加减乘除，求逆矩阵，行列式计算，还有一些概念如代数余子式、伴随矩阵、转置、线性相关等。在这里介绍一下深度学习的概念，深度学习是机器学习的一个子领域，是近期出现的使用最新方法和最快硬件的模仿人脑结构和功能的人工神经网络的复兴，这一方法使得在非常大的数据集上开发和训练更大更深层网络成为可能，深度学习通常都在机器翻译、照片字幕、语音识别等一系列具有挑战性的领域的成果，所以学好线性代数是非常必要的。

 2.举例分析

这里通过具体的例子就线性代数的一些基础知识做出解释和理解，因为通过自身的经历，即使原理用字符表达出来也必须要实例化才真正会算，所以这里通过数学例子使解释更加易懂。

首先，线性代数中最常见也是最重要的就是矩阵，那么什么是矩阵？以及矩阵间的运算是怎么样的？

(1)矩阵

概念：矩阵是由数字形成的矩形队列，如果m、n是正整数，则 m×n 矩阵包含 m*n 个数字，m行n列。如完整mxn（3x3）矩阵可写为：

(2).矩阵的加减法

注意：两个矩阵需维度相同才能进行运算，不然会抛出错误(如下所示为两个二阶矩阵)

(3)矩阵的乘法

注意：矩阵间乘法满足分配律和结合律，不满足交换律，即AxB≠BxA。

4x1+1x5=9 1x2+2x5+0x3=12 1x1+3x0+2x5=11
3x1+0x5=3 2x2+1x5+3x3=18 4x1+0x0+1x5=9
2x1+6x5=32 1x2+1x5+4x3=19

(4).矩阵的转置：列和行的位置相互颠转

(5).正(负)定矩阵

注意：
如何判断是否为正定矩阵？ 有以下方面，满足其中一个都是正定矩阵：
矩阵A 的特征值都为正
矩阵A 的一切顺序主子式都为正
矩阵A 的行列式均为正
正定矩阵的性质有哪些？
若一个矩阵为正定矩阵，则它的逆矩阵也为正定矩阵
两个正定矩阵的和为正定矩阵
正实数与正定矩阵的乘积为正定矩阵（以下是判断是否为正定矩阵的例子）

行列式值为-3，不是正定矩阵

主子式都为正，为正定矩阵

(6).逆矩阵的应用

注意：若矩阵B是矩阵A的逆矩阵，AB=BA=E,E为单位矩阵,记A的逆矩阵A^(-1)。
A^(-1)=A*/|A|
其中A^*为伴随矩阵，由代数余子式组成的矩阵，下面举例解释代数余子式以及伴随矩阵

求解逆矩阵还有一种解法就是在矩阵后面加上单位矩阵进行化简最后前面变为单位矩阵，后面就为要求解的逆矩阵。

代数余子式是将一个元素a_ij所在的第i列和第j行划去后留下的行列式的值，i+j为奇数为负，偶数为正
伴随矩阵中的值：
1x(2x3-1x4)=2 -2x(2x3-1x3)=-6 3x(2x4-2x3)=6
2x(2x3-3x4)=12 -2x(1x3-3x3)=-12 1x(1x4-2x3)=2
3x(1x2-2x3)=-12 -4x(1x1-2x3)=20 3x(1x2-2x2)=-6

(7).线性相关性

向量组A线性相关的充分必要条件是它所构成的矩阵A的秩小于向量个数m
向量组A线性无关的充分必要条件是R(A)=m

(8)范德蒙行列式    

(9)特征值和特征向量

性质：特征值的和为矩阵对角线上元素之和
特征值的乘积为行列式的值

举例：求矩阵的特征值和特征向量


所以特征值分别为4,2

求特征向量就将特征值分别代入变换后的矩阵，使得到的特征向量与矩阵乘积为0，在这里举一个例子
将γ=4代入原矩阵：

对应特征向量可取P=(1,1)
提醒：矩阵对应同一个特征值的特征向量不唯一，但一个特征向量只对应一个特征值。

(10).正交矩阵

很多人不了解求解正交矩阵的整个过程，这里就直接举例



写出对角线矩阵，对角线上分别为特征值，其余地方为0：

再求出特征向量并对其正交化即单位化


单位化后根号中的值为分母，特征向量为分子，得到单位化后的特征向量：

最后得到的正交矩阵为：

总结：线性代数解决实际问题的功能特别强大，虽然以前接触过线性代数，但是在机器语言的学习中，又看了它的与众不同和独特的魅力，所以掌握它并且能够计算出线性代数的问题是我们要学习的，希望举出的常见的线性代数解决的例子能够对你有所帮助。