机器学习----回归与最优化的区别与联系

一. 最优化-寻找最小值

1. 梯度下降法

a. 批量梯度下降法，b. 随机梯度下降法，c. 小批量梯度下降法
通过梯度的处理来决定下次采样的位置

2. 牛顿法

3. 启发式

如遗传算法，通过选择、交叉、变异，来选择下次采样的位置

4. 贝叶斯

如高斯过程，通过当前的训练集来决定下次采样的位置

5. 其他方法

如随机搜索、网格搜索，通过确定的策略来决定下次采样的位置

二. 回归

如高斯过程回归、CNN、随机森林、遗传算法
高斯过程、CNN、随机森林：通过已有训练集训练模型，得到与目标值误差最小的值
遗传算法：通过训练集与目标值的误差计算，更新训练集即种群，进而找到适合的个体

三. 回归与最优化的评价函数

回归与最优化本质都是最优化，使得误差最小，以遗传算法为例，既可以用于回归，也可以用于最优化：回归的评估方法是计算目标值与个体之间的适应度，当满足迭代次数要求或者适应度要求，迭代终止；最优化的评估方法是评估函数的值最小。
只是不同点为一个是相对误差，另一个是绝对误差。

四. 回归与最优化的采样函数

回归有的不需要采样函数，一次性即可输出，如高斯过程，有的需要采样函数如遗传算法
最优化的采样函数根据当前训练集来确定，比如根据梯度、贝叶斯