机器学习-数学基础20210503

机器学习与数学分析

• 机器学习：对于某给定的任务T，在合理的性能度量方案P的前提下，某计算机程序可以自主学习任务T的经验E；随着提供合适、优质、大量的经验E，该程序对于任务T的性能逐步提高。
  -机器学习的对象：任务task、经验experience、性能performance
  -随着任务的不断执行，经验的累积会带来计算机性能的提升
  -机器学习是人工智能的一个分支，使用计算机设计一个系统，使它能够提供的训练数据按照一定的方式来学习；随着训练次数的增加，该系统可以在性能上不断学习和改进；通过参数优化的学习模型，能够用于预测相关问题的输出
• 机器学习可以解决：给定数据的预测问题<数据清洗/特征选择、确定算法模型/参数优化、结果预测>；大数据存储和并行运算<不能解决>
  
• 机器学习的一般流程：数据收集—数据清洗—特征工程—数据建模
• 导数
  -应用1：求f(x)=x^(x) 0> 的最小值
  
  -应用2：lnN->N(lnN-1)
  
• 泰勒公式-麦克劳林公式
  
  -应用1
  
  
  -应用2:
  
• 方向导数：
  
• 梯度
  
  
• 凸函数
  
• 一阶可微
  
• 二阶可微
  
  

概率论与贝叶斯先验

• 古典概型、装箱问题
• 与组合数的关系
  
  
• 概率公式
  
• 贝叶斯公式
  
• 分布：两点分布、二项分布、泊松分布、均匀分布、指数分布、正态分布、beta分布
  -两点分布
  
  -二项分布
  
  
  
  -泰勒展开式
  
  -泊松分布：在实际事例中，当一个随机事件，以固定的平均瞬时速率（或称密度）随机且独立地出现时，那么这个事件在单位时间（体积和面积）内出现的次数或个数就近似地服从泊松分布
  
  
  -均匀分布
  
  -指数分布
  
  
  
  -正态分布
  
  
  
  
  -beta分布
  
  
  
  
  
  
  
• 事件的独立性
  
• 期望
  
  
  
  
  
• 方差
  
  
  
  
  
  
  
  
  
  
  
  
• 相关定理：切比雪夫不等式、大数定律
  
  -大数定律的意义：当n很大时，随机变量X1,X2,X3…的平均值Yn在概率意义下无限接近期望。出现偏离是有可能的，但可能性较小，这种可能性的概率为0<并不等于事件一定发生>
  
  
  
  -中心极限定理的意义：很多随机现象可以看作许多因素的独立影响的综合反应，往往近似服从正态分布<测量误差、线性回归中将使用该定理论证最小二乘法的合理性>
  
  
• 最大似然估计
  
  
  
  
  
  
  
  

矩阵和线性代数

• SVD
  -SVD与PCA均可用于特征值矩阵描述，SVD适用于推荐特征学习，PCA适用于降维
  
  
• 方阵的行列式：
  -一阶方阵的行列式为该元素本身，n阶方阵的行列式等于它的任一行（或列）的各元素与其对应的代数余子式乘积之和。
  -根据“主对角线元素乘积减去次对角线元素的乘积”的原则
  -代数余子式
• 伴随矩阵