机器学习算法与传统优化算法与智能优化算法

传统优化算法一般是针对结构化的问题，有较为明确的问题和条件描述，如线性规划，二次规划，整数规划，混合规划，带约束和不带约束条件等，即有清晰的结构信息；而智能优化算法一般针对的是较为普适的问题描述，普遍比较缺乏结构信息。2.
传统优化算法不少都属于凸优化范畴，有唯一明确的全局最优点；而智能优化算法针对的绝大多数是多极值问题，如何防止陷入局部最优而尽可能找到全局最优是采纳智能优化算法的根本原因：对于单极值问题，传统算法大部分时候已足够好，而智能算法没有任何优势；对多极值问题，智能优化算法通过其有效设计可以在跳出局部最优和收敛到一个点之间有个较好的平衡，从而实现找到全局最优点，但有的时候局部最优也是可接受的，所以传统算法也有很大应用空间和针对特殊结构的改进可能。3.
传统优化算法一般是确定性算法，有固定的结构和参数，计算复杂度和收敛性可做理论分析；智能优化算法大多属于启发性算法，能定性分析却难定量证明，且大多数算法基于随机特性，其收敛性一般是概率意义上的，实际性能不可控，往往收敛速度也比较慢，计算复杂度较高。
如果有确定的问题结构描述和对应的传统算法（有理论证明可保证其可靠性），谁会去选计算又复杂结果又不可控的智能算法呢？只有在传统算法很难得到一个可接受的最优解（实际问题中许多时候并不要求全局最优，智能算法也并不保证100%找到全局最优）的时候，智能算法作为一个可选项。
而机器学习深度学习是“没有办法的办法”，SVM和神经网络并不是“优化”算法，这俩一般是用做分类问题或回归——倒是如何训练神经网络是个优化问题，传统BP算法并不能保证全局最优（但并不妨碍其使用，因为大多数时候也能得到一个可接受的解），许多许多年前就有人提出用智能算法来训练神经网络的参数。
机器学习算法的本质：
在求解一个问题（输入X，输出什么？）时，不清楚问题的模型是什么，不知道各个变量之间符合什么规则（式子），所以干脆把现成的各种万能模型（线性回归、逻辑回归、SVM、神经网络等等）套用进去，希望这些万能的模型可以拟合实际问题的模型。
　　但是这些万能模型里面具体的参数是未定的，需要使用大量数据进行学习。等参数确定之后，我们的拟合模型才完全确定。参数的学习相当于损失函数最小化这么一个优化问题。
　　但是就算把模型的参数求出来，就算拟合模型确定了，也不代表这个模型能准确描述我们待解决的问题。因为用来学习参数的大量数据，不能完全反应待解决问题的解的分布，而且数据采集过程中也会混入噪声，所以这些数据并不完全可信。
　　所以参数的学习不能一味地依赖训练数据的拟合，还要根据“奥卡姆剃刀定理”减小模型的复杂度。模型复杂度在一定程度上也是可以用一个式子模拟表达的，因此可以把复杂度放入损失函数中。
　　因此得出结论，机器学习的本质就是，带有训练集拟合精度和模型复杂度的损失函数的最小化问题，可以使用各种优化算法来求解，不过因为机器学习某些模型的独特性，有些模型参数的求解也有独特的算法，例如EM算法等。

优化算法的本质：
在求解一个问题（输入X，输出什么？）时，问题的模型是早就知道的，模型内部的结构、参数、参数之间的关系都是知道的，因此可以将问题模型用数学式子表达出来，一般都可以归纳为一个最小化问题或最大化问题，目标是求出最优解。
　　求解优化问题一般有：

最速下降法
牛顿法
拟牛顿法
共轭梯度法
启发式优化法（GA/ACO/PSO等）
拉格朗日乘数法。解决带约束的优化问题。
启发式优化算法与机器学习的联系
其实启发式优化算法与机器学习算法很相似。
　　在求解一个问题（输入X，输出什么？）时，它们都不要求知道问题的模型，只需要套用一些万能的模型就可以了，启发式优化算法就是套用GA、ACO、PSO等模型，机器学习算法则是套用线性回归、逻辑回归、SVM、神经网络等模型。
　　但是启发式优化算法套用的模型里的参数是使用者自己调整的，例如交叉概率、变异概率等等，而且这些模型加入了很多的随机性，每次求解的结果可能不能复现。而机器学习算法套用的模型里的参数是用训练集学习得出的，例如线性回归系数、SVM分类超平面系数、神经网络权重等等。

让我们考虑两种极端的数据类型：表格数据，其中所有变量都是实特征或离散特征，每个特征都有意义（例如，年龄、种族、性别、过去中风次数、充血性心力衰竭），以及“原始”数据，如图像、声音文件或文本，其中每个像素、位或文字本身都没有用处。这些类型的数据在机器学习性能和可解释性方面具有不同的属性。对于表格数据，大多数机器学习算法在预测精度方面表现相似。这意味着，假设一个人愿意进行较小的预处理，例如创建虚拟变量（例如，见Christodoulou等人，2019），即使是逻辑回归，也往往很难超越逻辑回归。在这些领域，神经网络通常没有优势。很长一段时间以来，众所周知，非常简单的模型对表格数据表现得出奇好（Holte，1993）。Leo Breiman（Breiman等人，2001）讨论的拉肖曼效应可能导致简单模型对表格数据表现良好。