AIMA 第三版 笔记
aima被传很难啃，我觉得跟中文翻译时追求保留原书内容有关吧。
如果让某个知之者来读，然后写一篇更简洁的笔记。
相当于有人帮你消化了知识，后来者再看会不会更轻松一点？
Part2 问题求解
Chaper3 通过搜索进行问题求解
3.1 Overview
如果学过数据结构，再来看这个入门第一篇章，应该是很轻松的。
我觉得这个篇章，放在入门这里，最重要的是去习惯【2个概念】：
①评价 evaluation 表示某一步的【好坏】。大部分情况下，其本质上是个【数值】！
②启发 heuristic 评估某一步的【成本】。同上，基本可以当【数值】来看。
（heuristic 这东西很怪，看起来像个形容词，翻译过来又很模糊，就成了阅读上的劝退点之一。）
无论哪个领域，所谓学习就是学到圈内人的【语言】，适应并使用这些【语言】。
在这一章，只需要掌握上述2个新单词，比背英语简单。
通常我们在一本书里会有默认的符号体系。
①evaluation，在n结点的评价值，记为f(n)
②heuristic ， 从n点出发到目标点的启发值（成本大小）， 记为 h(n)
③accumulated cost， 从起始点到达n点的累计成本 ， 记为 g(n)
很显然，我们可以用不同的方法来做【评估】。
例如， 令f(n) = h(n) ， 此举下，我们以【从n点往下走的启发值】作为评估值，f(n)越大，则认为这个n越坏。
例如，令f(n) = g(n) + h(n) ， 此举下，我们综合考虑 【到达n点累积的成本】与【从n点往下走需要消耗的成本】，f(n)越大，则认为n越坏。
显然，f(n)是一个超然的东西，你可以自己任意指定一种方式，来计算【评估值】。
而评估值是bigger-better还是smaller-better，也是随自己心意的。
还有一些其他细枝末节的概念
完备性 comleteness， 若有解则必得之，若未得则必无解。
最优性 optimism (似乎又叫optimistic efficiency？)
问题形式化(problem formulation)是给定一个目标，决定要考虑的动作与状态的处理。
- 全态形式化 (Complete-state formulation) 比如八皇后问题一开始就上八个皇后直击终极目标
- 增量形式化 (Incremental formulation) 比如开局一皇后，每次加一个皇后
补充一句话
有限状态空间的图搜索是完备的(complete)。
【无限图(infinity graph)的搜索却未必。】
3.2 无信息搜索 Uninformed search
又称blind search
本节就4种基本算法，对应到数据结构的树图部分。
- breadth-first 广度优先 ，空间O(b^d)， b是expand factor，举例，二叉树的话就是2。d 是最浅解深度。
- depth-first 深度优先 时间O(b^m) ，m for some depth 某个解深度。
- uniform-cost 一致代价搜索 (注意uniform和uninform的区别)
- Bidirectional search 双向搜索
2)
稍微值得一提的是，在图搜索中，如果是无限图，depth-first显然会失效。
于是我们很自然的想，如果限制depth到某个定值，再去搜索好不好呀？
于是得到 depth-first family的一个成员。给定mak_depth = K
Depth-limited Search 深度受限搜索。
进一步的，我们又会很自然的想，我们慢慢增大K的值，这样再去搜不是更好吗？
于是又得到一个
Iterative Deepening Search 迭代加深搜索。
就是做了点微小改进罢了。
3)
一致代价搜索中，评价函数f(n) = g(n)， 选择这个函数是无可奈何的事。
因为我们得不到未来的信息，只能知道自己的累积成本。
3.3 有信息搜索 informed search
因为引入了外部信息，所以往往比无信息搜索能更好地求解。很好理解。
本节用经典的罗马尼亚问题引出2个算法
- Greedy Best-first Search 贪婪最值优先搜索(GBS) ， f(n) = h(n)
- A* Search A星搜索 , f(n) = g(n) + h(n)
两个算法唯一的区别就在于评价函数。
采用 f(n) = h(n) 的贪婪搜索之所以失败，核心原因在于h(n)只是一个【实际cost的估计值】。
每次都选【估计值最小的节点】，就有可能漏掉一些【实际cost最小、但是估计值并非最小的最优解】。
这也是无可奈何的事情。
而采用A*的好处是，加入了一个accumulated cost，使贪婪的人稍微清醒一点。
如果输光了裤子就别头铁了赶紧回家。
3.4 可采纳性与一致性
上面的罗马尼亚都是引子，其主要目的，除了介绍算法，更重要的却是引入另外2个概念。
①可采纳性，admissable
②一致性 ， consistent
对所有n，代价的估计值h(n) ≤ 实际代价，则称h(n)为admissable的启发函数。
对所有n，从n点到目标的代价的估计值h(n) ≤ 从n点走到n'点的实际代价c(n,n') + 从n'点到目标的代价的估计值h(n')，则称h(n)为consistent（或者monotone）。
可采纳性，在我理解里，意思是【总是保守地估计】。
非常像我们平时讨论问题，都有一些口癖，像“最起码”、“保守估算”、“哪怕”、“退一万步说”。
显然只有【保守地估计】才是【可采纳的】。
如果你不保守，而是非常大胆地估计，那么你说的话就会被质疑，你给的数字就没人信。
所以admissable这个单词，选的也是略微精妙。
一致性，又称单调性。
书上用三角形关系来比喻。
如果学过dijkstra的话，就会觉得这个不等式非常熟悉。
通俗地说就是【成本不递减】。
（否则就等于图算法里出现了负值圈，越走下去值还越小了，那我多走几圈好不好？）
而①和②的关系是，
若consistent，则必admissable。（习题3.29，递推法易证）
即便admissable，却也有可能unconsistent。
理论上可以证明，
若同时满足admissable和consistent，则A*类的算法全都是optimally efficient（最优效率的）。
若只满足admissable，不满足consistent，则一个节点可能被多次展开。最坏情况下被展开的次数是一个指数级的值，此时采用Dijkstra算法远胜A*算法。（引自wiki:https://en.wikipedia.org/wiki/A*_search_algorithm）
再考虑不同的任务场景。
若admissable，则A*的树搜索版本最优。
若consistent，则A*的图搜索版本最优。
无论哪个版本，A*算法的共同缺点都是，太耗内存了。
所以又引出了一些改进内存消耗的A*衍生物。
不细述。
3.5 启发函数的优势性 heuristic function advantage
同一个问题，例如8数码问题(8-puzzle problem)，可以定义不同的启发函数。
同上，目前为止的所谓heuristic function，依然可以理解为 【到目标的代价的估计值】。
若2个启发函数，总有h2(x) ≥ h1(x)，则称h2(x)比h1(x)占优势。
注意，这句话的前提是默认了h1(x)与h2(x)遵守admissable原则，即大家都对代价作保守估计。
在admissable限制下，h1(x) ≤ h2(x) ≤ RealCost(x)。
显然h2(x)更接近实际代价，显然h2(x)更精确，这样h2(x)扩展的结点数不会大于h1(x)。
显然采用h2(x)搜索效率更高。（如果计算h2(x)的开销不是特别特别大的话）
（你用一个更精确的估计值去跑搜索，结果还能干不过一个不精确的估计值？）
一切都符合直觉。
3.6 松弛问题 Relaxation Problem
松弛(relaxation)这个概念，跟启发(heuristic)一样，都是中文莫名其妙的东西。
但是要习惯它。
定义：
松弛问题 = 减少了行动限制的问题。
用大白话讲，松弛 = 约束条件更少的简化版问题。
书上的栗子倒是蛮好。
（图源：https://blog.csdn.net/weixin_39278265/article/details/80923249 ）
因为松弛问题减少了行动约束，所以增大了状态空间。
原问题的最优解一定是松弛问题的解，但是松弛问题可能存在更好的解。
【注：中文版翻译成“原问题的最优解一定是松弛问题的最优解”，这句话显然是错的。】
书上原句【由于得出的启发式是松弛问题的确切代价，那么它一定遵守三角不等式，因而是一致的。】
这句话我觉得应该这样解读。
首先，松弛问题是很好提出的，我们可以任意减少行动限制得到一个松弛问题。
其次，任何一个问题都可以有多种启发函数，这是随我们高兴自己定义的。
第三，这句话的潜在意思是，我们可以对自己提出的松弛问题，设计一种【能够表达确切代价】的启发式（启发函数）。
第四，基于上述前提，我们为松弛问题设计的启发函数能够表达确切代价，即 h'(n) == RealCost'(n)。
因而在松弛问题内，h'(n)是一致的(consistent)。
从一致性可得，在对松弛问题而言，我们设计的h'(n)同时还是可采纳的(admissable)。
【特别需要注意的是，这个h'(n)一定要是能够确切表达代价的！！！实际操作中，如果你提出的松弛问题，找不到一个好的确切表达代价的计算方法，这个松弛问题就没有意义！】
还可以直观地这样理解。
原问题是限制A->B->C，则原来在A点的启发函数值 h(A) ≤ RealCost = distance(A,B)+distance(B,C)
松弛问题对行动的限制减少，导致A->C可能增加了一条更短的直连路径。
（就算没增加也没关系）
反正就算没增加，松弛问题对【代价的估计】，即新的启发函数h'(n)，至少不会大于原来的实际代价。
（这句话成立的前提，如上文所言，是h'(n)能够表达确切代价，h'(n)==RealCost'(n)）
（若增加了捷径，从A->C有更短路，那么h'(n)==RealCost'(n) ＜ RealCost(n)，就比原来的实际代价小）
（若没加捷径，从A->C还是得走B，那么h'(n)==RealCost'(n) == RealCost(n)）
即，h'(n) ≤ RealCost(n)，所以松弛问题的启发函数，对原问题而言（重点）， is admissable。
从这段描述也可以看出，新构造的h'(n)比原来的启发式，很容易更有优势（精度更高）。
因为实践中，一个行动严格受限的问题的启发函数，h(n)会偏离实际代价很远。
例如罗马尼亚问题用直线距离作为h(n)，8数码问题用错位棋子数作为h1(n)。
即h(n) << RealCost(n)。
而我们的 h'(n) == RealCost'(n) ≤ RealCost(n)，直觉上h'(n)会更加精确一些。
上面2段话，就是为了直观地理解为什么需要提出一个松弛问题。
哦！！！
原来，可以通过在松弛问题里设计【精确表达代价】的启发式（启发函数）h'(n)，
来获得在原问题里精度更高的启发式（启发函数）。
由上一小节的知识我们知道，精度更高（占优势）的启发函数总是更让人愉悦的！
这样我们用h'(n)求解原问题，就更加优雅而有效。
这就是松弛(relaxation)为什么在wiki被称为技巧(technique)的原因。
【wiki地址: https://en.wikipedia.org/wiki/Relaxation_(approximation) 】
它本质是帮我们获得更精确的启发函数的方法。
太神奇了！
这是有用性的证明。再来看一下必要性，为什么非得是松弛问题不可呢？
我不能直接在原问题里设计出一个“精确表达代价”的启发函数吗？
不，你不可以。
因为原问题往往有诸多限制，不直观，非线性，等等等等。
这导致你很难有一个“易于计算的”、“精确表达代价的”的启发函数。（有些式子根本写不出来，只能用符号+自然语言描述，为了计算又需要设计一套算法。）
精度和计算成本需要权衡。
sorry，松弛问题就是可以为所欲为。
不过北大OJ里，王文敏先生没有怎么讲松弛问题。
也没有讲【从子问题出发设计可采纳的启发式：模式数据库】这一节，有点遗憾。
Chapter 4 超越经典搜索 Beyond Classic Search
4.1 Overview
局部搜索 local search：
局部搜索算法是从单个当前结点（而不是多条路径）出发，通常只移动到它的邻近状态，通常不保留搜索路径。
局部搜索不是系统化的。
所以有2个优点，（1）很少内存，通常为常数 （2）通常能在系统化算法不适用的很大或无限的（连续的）状态空间中找到合理的解。
所谓局部呢，就是片面。
何谓片面呢？
就在于，局部搜索不关心路径，只关心最终状态是什么。
我只想知道8个皇后怎么摆，你不需要告诉我怎么移动。
也就是说，局部搜索是来搜索状态（state）的，而不是路径（path）。
很自然的，我们会想到把局部搜索放到优化问题里去。
对于纯粹的优化问题（ pure optimical problem），可以给定一个目标函数，找到一个更优的状态。
定义一个状态空间图，state-space landscape
横轴为状态，纵轴为启发式代价函数或目标函数。
像不像神经网络里对loss function求最优参数？
4.2 基础局部搜索算法
本节4个基础局部搜索算法。
①爬山法 Hill-Climbing
我们假设目标函数是bigger-better的。
那么爬山法简单的说，就是每次向目标函数增大的方向移动。
爬山法有一个最陡版本(steepest -ascent version)，每次都选取最佳邻接点。
因为这种短视的特性，又称贪婪局部搜索（greedy local search）。
从短视来看，其缺点是容易陷入局部极大值。
于是很自然的引申出一个随机重启爬山法（random restart hill climbing），类似给定初动量的优化函数SGD，帮忙跳出局部极值。
还有一种随机爬山法（random hill cimbing），以不同方向的斜率（梯度）为概率值，随机往某个方向前进。
很像deepwalk吧，随机游走一哈，没准就摆脱局部极值陷阱了。
②模拟退火搜索 Simulated Annealing Search
这个做过信息题的人应该不陌生。
此处我们假设目标函数是smaller-better的，即可以理解为loss function。
简单的说，每次随机移动到某点，若loss降低则接受该移动。
若loss增加，则以一个p概率接受该移动。
p的计算方式含2层。
1) △Loss，即损失的增加幅度，指数级增长，loss增加的越多，p概率越小，我们越不允许这次移动发生。
2) 当前loss。原句【开始温度T高的时候可能允许“坏的”移动，T越低则越不可能发生】。
③局部束搜索 Local Beam Search
我们假设目标函数是bigger-better的。
本算法的特性在于能存储K个状态，而不是一个。
你可以理解为，K个局部搜索任务并行，其中一个任务达到目标就停止。
但与完全并行不同的是，K个任务之间会互相传递信息，反而更像大家分散出去四面八方找水源，找到的人通知其他人也过来。
和爬山法相比，无非是一个人爬山，变成了K个人爬山。
最简单的局部束搜索，很容易K个人一起在局部极大值顶点被套牢罚站。
于是很自然的有人就提出了随机局部束搜索。
假设K个结点移动一次之后生成N个后继状态，那么不再从N个里面按目标函数最大的topK这么无脑取了。
而是随机地从N个后继状态中选择K个，概率值随N个后继状态的权值（目标函数值）的增大而增大（类似于softmax）。
④遗传算法 Genetica Algorithm GA
遗传算法是一类算法，而不是某个算法。
（deeplearning早期就有用遗传算法去搜参数的论文，但是模型一深参数一多就爆炸了，后来还是反向传播一统天下。）
本质是受达尔文进化论启发创造出来的。
无非是把目标函数的名字偷换成了“适应度函数”这种。
同样的，适应度函数是bigger-better的。
选择后代的过程，和随机局部束搜索类似，也是“适应度”权重作为概率值，然后随机选择。
本节概括一下就是......
没什么困难是一层随机不能解决的。
如果有就再套一层随机。（摊手）
4.3 连续空间中的局部搜索（待填）
这一节看着短，涉及到好多课外知识。
王文敏mooc没讲，需要自己补作业。
【注意北大mooc只讲了4种基础局部搜索算法，以及后面的集群智能算法。aima上第四章的其他内容都没介绍。
】
4.4 不确定情况下的搜索
如果环境是部分可观察或不确定的（也可能两者都有），就需要引入“感知信息”这一概念。
此处分两类。
1)环境确定，但是仅部分可观察。那么agent无法确定自己处在哪里，每一个感知信息会缩小Agent判定自身状态的可能范围。
2)环境不确定，但是部分可观察。Agent只能依赖当前感知信息，感知信息告知Agent某一行动的结果到底是什么。（我摔了杯子，感知信息告诉我杯子碎了这一结果。）
上面两种情况，对于Agent来说差不多，Agent都无法确定自己所在的确切状态，只能不断的行动，尝试，根据感知信息来反馈调节，产生应急规划（策略strategy）。
所谓的应急规划，本质上是一连串if else。
比如，在t-1时刻，根据感知信息得到一个stratefy，里面包含了内容{if 1 then do a , else if 2 then do b}。
到了B怎么办呢，又要算新的步骤。
显然，这是一个树结构，一路扩展下去。
书上是引入了“不确定动作，不稳定的吸尘器世界”这一节来说明的。
non-deterministic actions : the erratic vacuum world
这样就引入了 （And/Or Tree）与或树 ，这一概念。
在该树中，
同一条路径上的所有结点，由于后者是前者行动的结果，这些结点被称为与结点(And Node)
同一个结点的所有孩子，由于彼此是同一个parent node的分支，互相之间被称为或结点（Or Node）
根结点root被视为initial problem。
每一个结点被视为一个subproblem。
当该subproblem被解决时，就terminate。
否则，在该结点处继续expand分支。
从定义来看，就是对搜索树换了层皮......
与或搜索问题的解是一颗子树。
我们可以继续扩展，得到AND-OR Graph 与或图。
与或图的搜索算法很多，偷一张slide。
(src:https://www.ics.uci.edu/~kkask/Fall-2016 CS271/slides/03-InformedHeuristicSearch.pdf）
4.5 完全不可观察情况下的搜索
Agent感知不到任何信息的问题，称为无传感问题（sensorless problems），或相容问题（conformant problem）。
相容问题这个翻译有很大的偏差，还是看英文体会吧。
完全不可观察情况下，可以产生一些特别的解。
原书举例吸尘器问题中使用{Right,Suck,Left,Suck}这一策略，总能迫使世界达到状态7(coerce the world into state 7)。
解决无观察问题，我们在信念空间(space of belief states)中搜索，而不是实际状态空间（rather than physical states）中搜索。
后面的东西玄乎其玄......
4.6 联机搜索Agent
脱机搜索：诸葛亮坐在大后方计算出完整的方案，然后交给其他人去执行。不涉及动作执行过程
联机搜索：计算和动作执行交替进行。 先采取某个行动，然后观察环境变化并且计算出下一行动。
联机搜索存在一个隐含条件，即状态之间的转移可逆。
毕竟联机搜索的本质是探索问题（这是个名词！！！exploration problem）
我从A来到B，这是一个action，然后发现B不好待，就要原路返回。不然我就算不出从A出发的其他路径的好坏。
如果某些活动是不可逆的（irreversable），就容易陷入死胡同（dead-end）。
再关注一下敌对论点（adversary argument）这个翻译。
4.7 群体智能Swarm Intelligence
北大mooc单独新增。
Altruism Algorithm 利他算法
Ant Colony Algorithm **蚁群算法**
Bee Colony Algorithm 蜂群算法
Artificial Immune System 人工免疫系统
Bat Algorithm 蝙蝠算法
Differential Evolution Algorithm 差分进化算法
Multi-swarm optimization **粒子群优化** https://en.wikipedia.org/wiki/Multi-swarm_optimization
Chapter 5 对抗搜索 Adversarial Search
整理中...
5.1 Overview
博弈论(Game Theory)是研究理性决策者之间的冲突与合作的数学模型。
一个可替换属于是交互式决策理论（interactive decision theory）。
零和博弈(Zero Sum Games)，【为什么发音是灵狐博弈？？？文敏sensai？？？】
Two Players Game
博弈树 【为什么发音是波衣术？？？】
optimal decision in game
minmax value
使对手的最大收益最小。
使自己的最大损失最小。
pruning剪枝
Chapter 6 约束满足问题 Constraint Satisfaction Problem
6.1 Overview
一组变量，每个变量有自己的值。
当每个变量都有自己的赋值同时满足所有关于变量的约束时，问题就得到了解决。
这类问题就叫做约束满足问题 Constraint Satisfaction Problem，CSP。
CSP搜索算法利用了状态结构的优势，使用的是通用策略而不是问题专用启发式来求解复杂问题。
主要思想是通过识别违反约束的变量/值的组合迅速消除大规模的搜索空间。
形式化定义为三个成分X,D,C
X为变量。
D为值域。
C为约束集合。
一个不违反任何约束的赋值被称为相容的（conformant）或者合法的赋值。
