被可爱的女孩子问懵了,学艺不精,翻车的我决定重新理解一下这几个算法
wiki真是个好东西,它真的我哭死
爬山法是完完全全的贪心法,每次都鼠目寸光的选择一个当前最优解,因此只能搜索到局部的最优值。
例题: 以八数码为例
每一步都选择局部最优,最后很可能陷入一个局部最优解。
那么能不能优化一下呢?当它找到某个山顶时,可以给个随机数,随机一下,就有概率找到更优的解(同时也承担着找到更差解的风险)。下面以模拟退火为例,
模拟退火其实也是一种贪心算法,但是它的搜索过程引入了随机因素.。模拟退火算法以一定的概率来接受一个比当前解要差的解,因此有可能会跳出这个局部的最优解,达到全局的最优解。以上图为例,模拟退火算法在搜索到局部最优解A后,会以一定的概率接受到E的移动。也许经过几次这样的不是局部最优的移动后会到达D点,于是就跳出了局部最大值A。
首先看一下wikipedia对 Best-first search
算法的解释
说法不是很统一,大概是两种
可以是 A*
这样的启发式函数,既用到了从起点到当前点的评价,也用到了从当前点到目标点的估价。
可以是 greedy best-first search
基于贪心策略的优先搜索,即只用到从当前点到达目标点的估价。
这里我选择第二种来理解,wiki
给出的伪代码如下,看算法名字就很形象,贪心的 BFS
Using a greedy algorithm, expand the first successor of the parent. After a successor is generated:
使用贪心算法,将队列中的所有结点排序后,将队列中位于队首的结点出队,将其所有子节点拓展进队列
If the successor’s heuristic is better than its parent, the successor is set at the front of the queue (with the parent reinserted directly behind it), and the loop restarts.
如果后代节点的估价更优,则可以放在父节点的前面。(实现过程可以是用普通队列让所有节点出队,重新排序后入队;也可以使用优先队列(堆),这样每次优先队列的队首(堆顶)都是当前队列中估价最优的节点)
Else, the successor is inserted into the queue (in a location determined by its heuristic value). The procedure will evaluate the remaining successors (if any) of the parent.
如果新加入的节点估价不好,按照估价排序放在队列中的对应位置就行
Below is a pseudocode example of this algorithm, where queue represents a priority queue which orders nodes based on their heuristic distances from the goal. This implementation keeps track of visited nodes, and can therefore be used for undirected graphs. It can be modified to retrieve the path.
下面是该算法的伪代码示例,其中 queue 表示优先级队列,它根据节点与目标的启发式距离对节点进行排序。
procedure GBS(start, target) is:
mark start as visited
add start to queue
while queue is not empty do:
current_node ← vertex of queue with min distance to target
remove current_node from queue
foreach neighbor n of current_node do:
if n not in visited then:
if n is target:
return n
else:
mark n as visited
add n to queue
return failure
可以看到,每个节点都会被 visited
标记,即每个节点只能访问一次,每次都是贪心的选择下一步的最优解,不回头更新之前的搜索过的结果,可能会陷入局部最优。
例题: 以八数码为例,使用优先队列(小顶堆)
贪心的选择队列中的元素做搜索
[3(一层一号)]
[3(二层一号), 3(二层二号), 4(二层三号), 4(二层四号)]
3(二层一号)
,将其子节点放入优先队列[3(二层二号), 3(三层层二号), 4(二层三号), 4(二层四号), 4(三层一号)]
3(二层二号)
,将其子节点放入优先队列[2(三层三号), 3(三层层二号), 4(二层三号), 4(二层四号), 4(三层一号), 4(三层四号)]
2(三层三号)
, 将其子节点放入优先队列[1(四层一号), 3(三层层二号), 4(二层三号), 4(二层四号), 4(三层一号), 4(三层四号)]
1(四层一号)
, 在其子节点中找到目标节点, 0(五层一号)
,找到可行解,搜索停止可以看到 Best-first search
并没有剪枝操作,只是贪心的选择搜索的下一个节点,找到的可能是局部最优解。
代价一致搜索其实就是 Dijkstra
其搜索过程如下图所示
与 Best-first search
不一样的地方:
伪代码(Pseudocode)如下
dist[u]
是从源点到顶点 u 的当前距离。
Graph.Edges(u, v)
返回连接两个邻居节点 u 和 v 的边的长度(即之间的距离)
1 function Dijkstra(Graph, source):
2
3 for each vertex v in Graph.Vertices:
4 dist[v] ← INFINITY
5 prev[v] ← UNDEFINED
6 add v to Q
7 dist[source] ← 0
8
9 while Q is not empty:
10 u ← vertex in Q with min dist[u]
11 remove u from Q
12
13 for each neighbor v of u still in Q:
14 alt ← dist[u] + Graph.Edges(u, v)
15 if alt < dist[v]:
16 dist[v] ← alt
17 prev[v] ← u
18
19 return dist[], prev[]
可以看到,一个节点可以多次入队,可以反复更新之前搜索过的路径,最后获得全局最优解。
分支限界法常以广度优先或以最小耗费(最大效益)优先的方式搜索问题的解空间树。在分支限界法中,每一个活结点(没被访问过的节点)只有一次机会成为扩展结点。活结点一旦成为扩展结点,就一次性产生其所有儿子结点。在这些儿子结点中,导致不可行解或导致非最优解的儿子结点被舍弃,其余儿子结点被加入活结点表中。此后,从活结点表中取下一结点成为当前扩展结点,并重复上述结点扩展过程。这个过程一直持续到找到所需的解或活结点表为空时为止。
首先对比一下回溯法和分支限界法
回溯法:一种基于深度优先搜索的剪枝策略
回溯法的求解目标是找出解空间树中满足约束条件的所有解
利用深度优先搜索的方法,当搜到一个显然不合理的结果时,没必要继续深入搜索,这时利用回溯回退到其父节点,寻找下一个值得继续搜索的节点。如此可以剪去一些不必要的搜索,同时可以找到所有可能的结果。
分支限界法:常基于广度优先搜索的剪枝策略
例题:以单源最短路为例来解释分支界限法的计算过程:求从S->T的最短距离(括号内为从起点到达当前点的路径长度)
[S(0)]
[A(2), B(3), C(4)]:此时S->A的代价最小,所以优先队列队首(堆顶)是A节点
B(5)
,即更新 B
节点的代价下界为 3。(当出现代价小于 3 的 B
节点,则更新 B
节点的最小下界,并替换 B
节点,否则丢弃新找到的节点)[B(3), C(4), D(9), E(4)]
[C(4), D(9), E(4), F(5)]
[D(9), E(4), F(5)]
[D(9), F(5), H(7)]
[D(9), H(6), I(6)]
H
做拓展D(9)
分支剪掉,因为 D
此时的代价下界已是 9,超过起点到达目标点的上界,不可能找到更优的解,直接舍弃该分支。[I(6)]
此时优先队列为空,搜索结束,最短路径长为 7
动态规划在查找有很多重叠子问题的情况的最优解时有效。它将问题重新组合成子问题。为了避免多次解决这些子问题,它们的结果都逐渐被计算并被保存,从简单的问题直到整个问题都被解决。因此,动态规划保存递归时的结果,因而不会在解决同样的问题时花费时间。
动态规划只能应用于有最优子结构的问题。最优子结构的意思是局部最优解能决定全局最优解(对有些问题这个要求并不能完全满足,故有时需要引入一定的近似)。简单地说,问题能够分解成子问题来解决。
首先考虑如何拆解问题,
从一个点到达另一个点只有两种方式:
想知道 S->T
的最短距离,对于他们路径上某个点 x
,只需要知道 S->X
的最小距离和 X->T
的最小距离,即可推出经过点 X
的情况下,S->T
的最短距离。
邻接矩阵:dp[i][j]
表示 i->j
的路径距离
状态转移方程如下:取当前的最短路径和经过 X
中转之后的最短路径中的最小值
dp[S][T] = min(dp[S][T], dp[S][X] + dp[X][T]);
根据上图可以的到的邻接矩阵如下
dist[i][j] = inf
即 i, j
两点之间不可达,距离为无穷大dist[i][j]
即 i->j
的边长距离i\j | S | A | B | C | D | E | F | t |
---|---|---|---|---|---|---|---|---|
S | 0 | 3 | 4 | |||||
A | 3 | 0 | 4 | 5 | ||||
B | 4 | 0 | 4 | 5 | ||||
C | 4 | 0 | ||||||
D | 4 | 5 | 0 | 2 | ||||
E | 2 | 0 | 4 | |||||
F | 4 | 0 | 3 | |||||
t | 3 | 0 |
动态规划过程如下:
首先初始化所有的 dp[i][j]
为当前邻接矩阵中的值
从目标结论出发,逐步递推,就可将问题转化到我们已知的初始值上,即 dp[S][A]
和 dp[S][D]
S->t
: dp[S][t] = min(dp[S][t], dp[S][K] + dp[K][t]);
K 可能是剩余节点中任何一个可能到达 t
的节点
S->F
: dp[S][F] = min(dp[S][F], dp[S][K] + dp[K][F]);
K 可能是剩余节点中任何一个可能到达 F
的节点
S->E
: dp[S][E] = min(dp[S][E], dp[S][K] + dp[K][E]);
K 可能是剩余节点中任何一个可能到达 E
的节点
…
S->A
: dp[S][A] = min(dp[S][A], dp[S][K] + dp[K][A]);
K 只能是 S , 此时得到 dp[S][A] = 3;
S->D
: dp[S][D] = min(dp[S][D], dp[S][K] + dp[K][D]);
K 只能是 S , 此时得到 dp[S][D] = 4;
那么我们从下向上递推,就能通过逐步更新到达前面节点的最小距离,得到我们要的答案 dp[S][T]
for (int t = 0; t < n; t++) { // 按邻接表中的顺序给搜索树编号
for (int k = 0; k < t; k++) {
dp[0][t] = min(dp[0][t], dp[0][k] + dp[k][t]);
}
}
递推的过程可以看作从前往后建立一颗搜索树(不能抵达待更新路径终点的节点没有画出),下图的 g = dp[0][i]
有多条路径能够到达某个节点时,在动态规划的过程中,已经将最短路径做了更新,之后每次用到的都是当前已知路径中最短的路径,相当对那些较长的路径做了剪枝,保留最短路径而删去之前找到的较长路径,不从这些路径继续向下寻找。
例题2(有向图,): 一张来自阿里云社区的博客动图
如果拓展表中有多条到达某一公共节点的路径时,只保留耗散值最小的路径,其余删去。
下图橙色箭头就是在拓展节点,当拓展到的节点已经有可达路径时,判断新的路径和之前的路径哪个耗散值最小(即路径长度最小),保留最小长度的路径,其余路径删去,之后的拓展,基于这个最短的路径值继续拓展。
dp[i]
表示从起点到达节点 i
的最小距离
状态转移方程如下:取当前的最短路径和经过 X
中转之后的最短路径中的最小值
dp[T] = min(dp[T], dp[X] + dist[X][T]);
动态规划核心代码
for (j = 1; j < n; j++) { // 首先以第一个点作为终点,从前往后递推,不断把终点后移直到终点,其之前的节点的路径已经都算出来了,可作为动态规划的条件
for (i = j - 1; i >= 0; i--) {
if (dist[i][j] + dp[i] < dp[j]) {
dp[j] = dist[i][j] + dp[i];
}
}
}
return dp[n];
Depth-First-Search
Breadth-first search
Hill climbing
Best-first search
Dijkstra’s algorithm
Branch and bound
Dynamic programming
七七八八百
快懂百科
阿里云社区