数学基础：函数求导、矩阵运算、方差

一、求导法则

1.1基本初等函数

 1.2三角函数运算

 

1.3指数和对数函数相关运算

1.4隐函数求导

1.5参数方程求导

1.6幂指函数求导

1.7复杂表达式函数求导

1.8链式法则

链式法则是微积分中复合函数的求导法则。 复合函数，是指一个函数作为另一个函数的自变量。 如f(x)=3x，g(z)=z+3，g(f(x))就是一个复合函数，并且g(f(x))=f(x)+3=3x+3

 链式法则(chain rule)： 若m(x)=f(g(x))，则m'(x)=f'(g(x))g'(x)

即“ 两个函数凑起来的复合函数，其导数等于里边函数代入外边函数的值的导数 乘 里边函数的导数 ”

二、矩阵运算

矩阵定义：一个 M x N 的矩阵是由M行N列匀速排序成的矩形阵列

特殊矩阵：

• 单位矩阵： n x n矩阵 从左到右对角线上的元素是1 其余元素都是0
• 正交矩阵：如果一个矩阵A和他的转置矩阵AT相乘是单位矩阵，那说明这个矩阵是正交矩阵
• 方阵：行数和列数都相等，即M和N相等，也称作N阶矩阵或者N阶方阵

2.1加减法

必须为同阶矩阵，同位置相加，并且满足交换律和结合律 A+B = B+A （A+B)+C = A+(B+C)

2.2乘法

首先不是所有矩阵都能相乘，需要满足一定的条件：

• m x n的矩阵只能与 n x p的矩阵相乘，得到是一个m x p大小的矩阵

矩阵乘法不满足交换律（除非特别情况） 但是满足结合律与分配律
注意：实际开发中我们会连续对一个物体进行多次矩阵变化，矩阵相乘的顺序在写法上是从后往前的，也可以所有的变化矩阵先相乘得到最终变换矩阵，最后在对向量与这个矩阵相乘（满足结合律）

 2.3矩阵的转置

就是把一个矩阵的行列倒转过来：

• 一个矩阵的转置再转置是他本身 A^T = A的转置 A^T的转置 = A
• 两个矩阵相加后的转置等于两个矩阵的转置相加（A+B)^T = A^T + B^T
• 两个矩阵相乘的转置等于两个矩阵转置再反向相乘 (AB)^T = BTAT

2.4矩阵的逆

 一个矩阵跟另一个矩阵相乘得到一个单位矩阵，则另一个矩阵是这个矩阵的逆矩阵

• 一个矩阵的逆矩阵的逆就是自身 A^-1 = A的逆矩阵 A = A^-1的逆矩阵
• 如果一个矩阵有逆矩阵，那么他的数乘结果的逆矩阵 自身逆矩阵与倒数数乘相等 （AX)^-1 = A^-1 / X
• 两个矩阵相乘的逆矩阵等于两个矩阵的逆矩阵反向相乘(AB)^-1 = B-1A-1
• 如果一个矩阵有逆矩阵，那么他的转置矩阵也有逆矩阵，并且转置矩阵的逆矩阵是自身逆矩阵的转置 AT-1 = A-1T
• 单位矩阵的逆矩阵是他本身

 三、方差

3.1方差(Variance)

方差用于衡量随机变量或一组数据的离散程度，方差在在统计描述和概率分布中有不同的定义和计算公式。

①概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度；

离散型随机变量的数学期望：

连续型随机变量的数学期望：

其中，pi是变量，xi发生的概率，f(x)是概率密度。

②统计中的方差(样本方差)是每个样本值与全体样本均值之差的平方值的平均数，代表每个变量与总体均值间的离散程度。

总体方差也叫做有偏估计，其实就是我们从初高中就学到的那个标准定义的方差：

其中，n表示这组数据个数，x1、x2、x3……xn表示这组数据具体数值。

其中，为数据的平均数，n为数据的个数，为方差。

样本方差也叫无偏方差，在实际情况中，总体均值是很难得到的，往往通过抽样来计算，于是有样本方差，计算公式如下：

为什么要将分母由n变成n-1，主要是为了实现无偏估计减小误差，请阅读《为什么样本方差（sample variance）的分母是 n-1？》

3.2协方差（Covariance）

协方差在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

其中，E[X]与E[Y]分别为两个实数随机变量X与Y的数学期望，Cov(X,Y)为X，Y的协方差。

3.3标准方差(Standard Deviation)

标准方差也被称为标准偏差,在中文环境中又常称均方差，是数据偏离均值的平方和平均后的方根，用σ表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度，只是由于方差出现了平方项造成量纲的倍数变化，无法直观反映出偏离程度，于是出现了标准差，标准偏差越小，这些值偏离平均值就越少，反之亦然。

其中，  代表所采用的样本X1,X2,...,Xn的均值。

其中， 代表总体X的均值。

3.4误差

3.4.1均方误差（mean square error,MSE）

均方误差是反映估计量与被估计量之间差异程度的一种度量，换句话说，参数估计值与参数真值之差的平方的期望值。MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。

3.4.2均方根误差（root mean squared error,RMSE）

均方根误差亦称标准误差，是均方误差的算术平方根。换句话说，是观测值与真值(或模拟值)偏差(而不是观测值与其平均值之间的偏差)的平方与观测次数n比值的平方根，在实际测量中，观测次数n总是有限的，真值只能用最可信赖（最佳）值来代替。标准误差对一组测量中的特大或特小误差反映非常敏感，所以，标准误差能够很好地反映出测量的精密度。这正是标准误差在工程测量中广泛被采用的原因。因此，标准差是用来衡量一组数自身的离散程度，而均方根误差是用来衡量观测值同真值之间的偏差。

3.4.3均方根值（root mean square,RMS）

均方根值也称作为方均根值或有效值，在数据统计分析中，将所有值平方求和，求其均值，再开平方，就得到均方根值。在物理学中，我们常用均方根值来分析噪声。