机器学习入门(8)--向量&矩阵

概念

在数学中，矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合[ ，最早来自于方程组的系数及常数所构成的方阵。这一概念由19世纪英国数学家凯利首先提出。

矩阵是高等代数学中的常见工具，也常见于统计分析等应用数学学科中。在物理学中，矩阵于电路学、力学、光学和量子物理中都有应用；计算机科学中，三维动画制作也需要用到矩阵。 矩阵的运算是数值分析领域的重要问题。将矩阵分解为简单矩阵的组合可以在理论和实际应用上简化矩阵的运算。对一些应用广泛而形式特殊的矩阵，例如稀疏矩阵和准对角矩阵，有特定的快速运算算法。关于矩阵相关理论的发展和应用，请参考矩阵理论。在天体物理、量子力学等领域，也会出现无穷维的矩阵，是矩阵的一种推广。

定义

由 m × n 个数aij排成的m行n列的数表称为m行n列的矩阵，简称m × n矩阵。记作：

矩阵

这m×n 个数称为矩阵A的元素，简称为元，数aij位于矩阵A的第i行第j列，称为矩阵A的(i,j)元，以数 aij为(i,j)元的矩阵可记为(aij)或(aij)m × n，m×n矩阵A也记作Amn。元素是实数的矩阵称为实矩阵，元素是复数的矩阵称为复矩阵。而行数与列数都等于n的矩阵称为n阶矩阵或n阶方阵 。

基本运算

1. 加法

矩阵加法

2. 矩阵减法

矩阵减法

3. 矩阵数乘

矩阵数乘

4. 矩阵转置：把矩阵A的行和列互相交换所产生的矩阵称为A的转置矩阵

矩阵转置

5. 矩阵共轭

矩阵共轭

6. 矩阵共轭转置

矩阵共轭转置

7. 矩阵乘法：两个矩阵的乘法仅当第一个矩阵A的列数和另一个矩阵B的行数相等时才能定义。如A是m×n矩阵和B是n×p矩阵，它们的乘积C是一个m×p矩阵  ，它的一个元素：

矩阵乘积的元素算法

矩阵乘法

8. 矩阵行列式：一个n×n矩阵的行列式等于其任意行（或列）的元素与对应的余子式乘积之和

矩阵行列式

9. 特征值与特征向量：n×n的方块矩阵A的一个特征值和对应特征向量是满足  的标量以及非零向量  。其中v为特征向量，为特征值。

10. 矩阵的轨迹：矩阵A的对角元素之和称为矩阵A的迹(trace)

矩阵的轨迹

可逆矩阵

可逆矩阵是线性代数中的一个矩阵，其定义为在线性代数中，给定一个 n 阶方阵A，若存在一个n 阶方阵B， 使得AB=BA=In（或AB=In、BA=In 任满足一个），其中In 为n 阶单位矩阵，则称A 是可逆的，且B 是A 的逆阵，记作 A^(-1)。

若方阵A 的逆阵存在，则称A 为非奇异方阵或可逆方阵。

A是可逆矩阵的充分必要条件是  （方阵A的行列式不等于0）。给定一个 n 阶方阵 A，则下面的叙述都是等价的：

A 是可逆的。

A 的行列式不为零。

A 的秩等于 n（A 满秩）。

A 的转置矩阵 AT也是可逆的。

AAT 也是可逆的。