机器学习相关数学知识梳理
目录
高等数学
函数
导数和偏导数的定义与计算方法
梯度向量的定义
极值定理
雅克比矩阵
Hessian矩阵
凸函数的定义与判断方法
泰勒展开公式
拉格朗日乘数法
线性代数
向量和它的各种运算，包括加法，减法，数乘，转置，内积
向量和矩阵的范数，L1范数和L2范数
矩阵和它的各种运算，包括加法，减法，乘法，数乘
逆矩阵的定义与性质
行列式的定义与计算方法
二次型的定义
矩阵的正定性
矩阵的特征值与特征向量
矩阵的奇异值分解
线性方程组的数值解法，共轭梯度法
主成分分析（PCA）
奇异值分解（SVD）
矩阵的特征分解
LU 分解
QR 分解
对称矩阵
正交化和正交归一化
向量空间和范数（Norms）
概率论
离散型和连续性随机变量
随机事件的概念，概率的定义与计算方法
随机变量与概率分布，尤其是连续型随机变量的概率密度函数和分布函数
条件概率与贝叶斯公式
常用的概率分布，包括正态分布，伯努利二项分布，均匀分布
随机变量的均值与方差，协方差
随机变量的独立性
最大似然估计
马尔可夫链
最优化
统计学
一、概论
百分位数、总体、样本、参数、统计量
二、计算资料统计
集中趋势、离散趋势、正态分布特征
三、总体均数估计和假设检验
抽样误差、均数的标准误、置信区间、假设检验
四、方差分析
方差
五、计数资料统计描述
标准化率
六、离散变量分布
二项分布、泊松分布
七、双变量回归和相关
相关、回归
八、多元线性回归
线性回归、偏回归系数、复相关系数、标准化回归系数、哑变量、多重共线性、交互作用、回归系数
九、Logistic回归
似然比法、Wald检验、计分检验
最大似然估计、
十、判别分析、聚类分析
十一、主成分分析、因子分析
十二、典型相关分析
正文
高等数学
函数
导数和偏导数的定义与计算方法
梯度向量的定义
极值定理
雅克比矩阵
Hessian矩阵
凸函数的定义与判断方法
泰勒展开公式
拉格朗日乘数法
线性代数
向量和它的各种运算，包括加法，减法，数乘，转置，内积
向量和矩阵的范数，L1范数和L2范数
矩阵和它的各种运算，包括加法，减法，乘法，数乘
逆矩阵的定义与性质
行列式的定义与计算方法
二次型的定义
矩阵的正定性
矩阵的特征值与特征向量
矩阵的奇异值分解
线性方程组的数值解法，共轭梯度法
主成分分析（PCA）
奇异值分解（SVD）
矩阵的特征分解
LU 分解
QR 分解
对称矩阵
正交化和正交归一化
向量空间和范数（Norms）
概率论
离散型和连续性随机变量
随机事件的概念，概率的定义与计算方法
随机变量与概率分布，尤其是连续型随机变量的概率密度函数和分布函数
条件概率与贝叶斯公式
常用的概率分布，包括正态分布，伯努利二项分布，均匀分布
随机变量的均值与方差，协方差
随机变量的独立性
最大似然估计
马尔可夫链
最优化
统计学
一、概论
百分位数：用99个数值或99个点，将按大小顺序排列的观测值划分为100个等分，则这99个数值或99个点就称为百分位数，分别以Pl，P2，…，P99代表第1个，第2个，…，第99个百分位数。
百分位通常用第几百分位来表示，如第五百分位，它表示在所有测量数据中，测量值的累计频次达5%。以身高为例，身高分布的第五百分位表示有5%的人的身高小于此测量值，95%的身高大于此测量值。
中位数是第50百分位数。
第25百分位数又称第一个四分位数（First Quartile），用Q1表示；第50百分位数又称第二个四分位数（Second Quartile），用Q2表示；第75百分位数又称第三个四分位数（Third Quartile）,用Q3表示。若求得第p百分位数为小数，可完整为整数。
众数：一组数据中出现次数最多的数值
中数：中数是按顺序排列在一起的一组数据中居于中间位置的数，即在这组数据中，有一半的数据比它大，有一半的数据比它小。
RSS累计平方误差:测定值xi对真实值x的偏差平方后再求和
python中求RSS：
rss = pd.DataFrame(columns = ["hour","true_res","pre_res"])
rss.hour = np.arange(24)
rss.true_res = true_result
rss.pre_res = result['max_limit']
rss.dropna(inplace=True)
print('all_day RSS:%.4f' % sum(rss.true_res - rss.pre_res) ** 2)
标准差(Standard Deviation)
各数据偏离平均数的距离（离均差）的平均数，它是离差平方和平均后的方根。用σ表示。因此，标准差也是一种平均数
标准差能反映一个数据集的离散程度。平均数相同的，标准差未必相同。
例如，A、B两组各有6位学生参加同一次语文测验，A组的分数为95、85、75、65、55、45，B组的分数为73、72、71、69、68、67。这两组的平均数都是70，但A组的标准差为17.08分，B组的标准差为2.16分，说明A组学生之间的差距要比B组学生之间的差距大得多。
方差
用S表示（以下用P代表数据a1,a2,……,an的平均数）
S=1/n[(a1-p)2+(a2-p)2+……+(an-p)^2]
分别求出所有数据与平均数的差的平方，然后求这些平方的平均数，就是方差
标准差＝方差的平方根
方差＝标准差的平方
标准差、方差都是反应一组数据的离散程度的。
MSE: Mean Squared Error
均方误差是指参数估计值与参数真值之差平方的期望值;
MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。
RMSE
均方误差:均方根误差是均方误差的算术平方根
MAE :Mean Absolute Error
平均绝对误差是绝对误差的平均值
平均绝对误差能更好地反映预测值误差的实际情况.
SD :standard Deviation
标准差:标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。平均数相同的两组组数据，标准差未必相同。
参考：https://blog.csdn.net/qq_31821675/article/details/82025527
总体
样本
参数
统计量
二、计算资料统计
集中趋势、离散趋势、正态分布特征
三、总体均数估计和假设检验
抽样误差、均数的标准误、置信区间、假设检验
四、方差分析
方差
五、计数资料统计描述
标准化率
六、离散变量分布
二项分布、泊松分布
七、双变量回归和相关
相关、回归
八、多元线性回归
线性回归、偏回归系数、复相关系数、标准化回归系数、哑变量、多重共线性、交互作用、回归系数
九、Logistic回归
似然比法、Wald检验、计分检验
最大似然估计、
十、判别分析、聚类分析
十一、主成分分析、因子分析
十二、典型相关分析