机器学习导论 与数学分析

机器学习

定义

对于某给定任务T,在合理的性能度量方案P的前提下，某计算机程序可以自主学习任务T的经验E，随着提供合适，优质，大量经验E,该程序对于任务T性能逐步提高。

说人话

机器学习是人工智能的一个分支，我们使用计算机设计一个系统，使它能够根据提供的训练数据按照一定方式来学习，随着训练次数增加，该系统可以在性能上不断学习和改进，通过参数优化的学习模型，能够用于预测相关问题输出

例子

无人驾驶汽车

专家系统 定义好， 应招，速度快

机器学习 实验 奖惩 调参

对象

任务 TASK T

一个或多个

经验 EXPERIENCE

性能PERFORMANCE

类比

人类学习

监督学习

看月亮

半监督学习

LPA

无监督学习

阅兵 聚类

增强学习

走路 踢球

可解决问题

1. 数据清洗/特征选择
2. 确定算法模型/参数优化
3. 结果预测

不可解决问题

1 大数据存储/并行运算
2 做一个机器人

举例

机器学习：“盯住二号位，她容易起快球‘
传统算法：排球规则

f（x，y）线性模型

损失函数：L最小，损失最小

方式

建模

预测

流程

python执行

模型

线性回归

EM模型

GMM图像

![在这里插入图片描述](https://img-blog.csdnimg.cn/20200403185751562.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY2Mzc4MA==,size_16,color_FFFFFF,t_70

卷积

SVM

其他内容

文献

数学分析

引出

对函数上升速度思考

分析

附录

总结

导数

1. 简单来说，导数就是曲线斜率，是曲线变化快慢的反应

2. 二阶导数是斜率变化快慢的反应，表征曲线凸凹性
   2.1二阶导数是连续曲线，往往称之为”***光顺***的“
   2，2加速度方向总是指向轨迹曲线凹的一侧

3. 

常用导数

应用

领会幂指函数一般处理套路

代码

图像

方法

应用2

思想

先假设

原因：梯度下降方法

方向导数

如果函数Z=f（x，y）在点P（x，y）是可微分，那么，函数在该点沿任一L方向导数都存在，且有：

推导

两个看作向量

梯度

1. 设函数Z=f（x，y）在平面区域D内具有一阶连续偏导数，则对于每一个点P(x,y)属于D，向量

为函数Z=f（x，y）在点P的梯度，记作gradf（x，y）

1. 梯度的方向是函数在该点变化最快的方向
2. 考虑一座解析式为z=H（x，y）山，在的梯度是在该点坡度变化最快方向
3. 梯度下降法

Taylor Maclaurin 公式

应用：求e的x次方，x=0

e的x次方 代码

e的x次方 图像

sinx 代码和图像

应用2

应用3

gama函数

凸函数

若函数f的定义域domf为凸集，且满足

特点

一阶可微

若f一阶可微，则函数f为凸函数当且仅当f定义域domf为凸集，且

二阶可微

4. 若函数f二阶可微，则函数f为凸函数当且仅当dom为凸集，且
5. 若f是一元函数，上式表示二阶导大于等于0
6. 若f是多元函数，上式表示二阶导海瑟矩阵半正定

海瑟矩阵

4>0,23>0正定为凸函数

举例

概率论

古典概型

解：

1. 将15件产品装入3个箱子，每箱装5件，共有15！/（5！5！5！）
2. 先把三件次品放入三个箱子，共有3！种装法。对于这样的每一种装法，把其余12件产品放入3个箱子，每箱装4件，共有12！（4！4！4！）种装法
3. P（A）=（3*12！（4！4！4！））/（15！/（5！5！5！））=25/91

组合数

熵