An Algorithm Summary of Programming Collective Intelligence (5)

Optimization 优化

PCI里面介绍了两个算法:simulated annealing,模拟退火和genetic algorithms,遗传算法。

无论哪种优化算法,这里都需要一个代价计算函数来判定计算过程中产生的结果的好坏。

sa要设置一个较高的初始温度,按照由快变慢的速度在迭代过程中降温。

算法是同一个随机结果开始,在解向量空间的某一维度上做一个小的随机变化而生成一个新的解。用代价函数来判断新解的好坏,如果好,就作为下一次迭代的初始值;如果坏,也给人家一定的几率来继续下去。这个几率是根据温度来计算的,所以当计算刚开始的时候,结果有较大的几率变坏,这样是为了避免受限于局部最优值。

ga的灵感来自于基因进化。

算法是从一组随机生成的解开始。用代价函数计算解的优劣,选取最好的解进行进化得到下一次迭代的解集。

进化的方法有两种:mutation和combination(crossover or breeding)。

当经过若干代演化解集不再优化或者达到迭代次数上限时算法结束。

其实PCI里面还有个Hill Climbing,爬山算法也是用来做优化的。

hc是从一个随机解开始,找到这个解所有临近的向量(就是在每个维度上做一个小的变化),然后找出最优的解作为下一步迭代的起始值。

你可能感兴趣的:(programming)