模拟退火算法与遗传算法介绍

周志华教授《机器学习》书神经网络一章曾提到如何避免达到局部极小而得到全局最小是机器学习的一个难点。在这里他提到了如下四种解决方式：

1、以不同参数初始化网络进行训练
2、使用模拟退火算法
3、使用随机梯度下降（在计算梯度时引入随机因素），从而可能在达到局部最小点时跳出。
4、遗传算法

这里面模拟退火算法和遗传算法在数学建模比赛中常常见到，但我本人并不是非常了解，因此这次特地查了下资料，相关资料如下

模拟退火算法
https://blog.csdn.net/kai940325/article/details/43267917/
模拟退火算法不保证得到最优解

遗传算法
https://www.jianshu.com/p/ae5157c26af9
https://blog.csdn.net/u010425776/article/details/79155480
遗传算法也不保证得到最优解