机器学习---规则学习（一阶规则学习、归纳逻辑程序设计）
1. 一阶规则学习
“一阶”的目的：描述一类物体的性质、相互关系，比如利用一阶关系来挑“ 更好的”瓜，但实际应用
中很难量化颜色、 …、敲声的属性值。一般情况下可以省略全称量词。
命题逻辑：属性-值数据
色泽程度：乌黑>青绿>q浅白；“根蒂弯度”：蜷缩＞稍蜷＞硬挺；“更好”：好瓜＞坏瓜
关系型数据一阶逻辑：
序贯覆盖生成规则集：能否引入新变量？能否使用否定文字？能否允许递归？能否引入函数嵌套？
自顶向下学习单条规则，候选文字需考虑所有可能的选项：
规则生长的评判标准为FOIL增益：
2. 归纳逻辑程序设计
目标：完备地学习一阶规则（Horn子句）；仍然以序贯覆盖方法学习规则集，一般采用自底向上
策略学习单条规则。不需要列举所有可能的候选规则；对目标概念的搜索维持在样例附近的局部区
域；自顶向下策略的搜索空间对于规则长度呈指数级增长。
2.1 最小一般泛化(LGG) [Plotkin, 1970]：
“泛化”：将覆盖率低的规则变换为覆盖率高的规则；“一般”：覆盖率尽可能高；“最小”：变换时对原
规则的改动尽可能小。
寻找两条规则LGG的步骤：
①找出两条规则中涉及相同谓词的文字
②考察谓词后括号里的项：LGG(t,t)=t；LGG(s,t),s≠t；s, t不是谓词相同的项，则LGG(s,t)=V，V为
任意未出现过的变量；s, t为谓词相同的项，递归考察其括号内的项
③删除没有相同谓词出现的文字
其他基于LGG的ILP算法：考虑否定文字，不同的初始化选择，多条特殊规则，考虑所有背景知识
（RLGG） [Plotkin, 1971] …
2.2 演绎与归纳
“……猜想是很不好的习惯，它有害于作逻辑的推理。你所以觉得奇怪，是因为你没有了解我的思
路，没有注意到 往往能推断出大事来的那些细小 问题（the small facts upon which large
inferences may depend）。举例来说吧，我开始时曾说你哥哥的行为很不谨慎。请看这只表，不
仅下面边缘上有凹痕两处，整个表的上面还有无数的伤痕，这是因为惯于把表放在有钱币、钥匙一
类硬东西的衣袋里的缘故。对一只价值五十多镑的表这样不经心，说他生活不检点，总不算是过
吧！……。”
歇洛克·福尔摩斯 演绎法研究（The science of deduction）——《四签名》
演绎：归结原理
归纳：逆归结
如何考虑带变量的逻辑表达式？
置换：用项替换变量：
θ={1/X,2/Y}，C＝色泽更深（X，Y）＾敲声更沉（X，Y）
C＇＝Cθ＝色泽更深（1，2）＾敲声更沉（1，2）
复合置换：θoλ；逆置换：θ-1
合一：通过置换让两个表达式相等：
A＝色泽更深（1，X），θ={2/X,1/Y}，Aθ＝Bθ＝色泽更深（1，2），B＝色泽更深（Y，2）
最一般合一置换（MGU）：任意一个合一置换都是MGU的复合置换
色泽更深（1，Y），色泽更深（X，Y），θ1={1/X}MGU；θ2={1/X,2/Y}；θ3={Z/X,1/Z}
都是θ1与其他置换的复合
一阶归结：当
，
一阶逆归结：
比如：
找一个不在归结项C1中的L1使
，令
存在一个解：
使得
四种完备的逆归结操作：
吸收：
辨识：
内构：
互构：
吸收： 辨识：
内构
互构：
逆归结中出现的q（M，N）是什么？
q（1，S）←纹理更清（1，S）q（1，T）←敲声更沉（1，T）．
日晒更多？更新鲜？更甜？......
之前ILP甚至可以通过谓词发明进行递归规则学习［Muggleton andLin,2013]
自动发明得到的a（X，Y）即是楼梯的梯级
目标概念：“楼梯” 
常用工具：
WEKA中的JRIP（http://weka.sourceforge.net/doc.dev/weka/classifiers/rules/JRip.html）
ILP的集大成工具ALEPH（http://www.cs.ox.ac.uk/activities/machlearn/Aleph/aleph.html）
相对最小一般泛化：GOLEM（http://www.doc.ic.ac.uk/~shm/golem.html）
逆演绎：Progol（http://www.doc.ic.ac.uk/~shm/progol.html）
开源Prolog环境：YAP（http://www.dcc.fc.up.pt/~vsc/Yap/）
SWI-Prolog（http://www.swi-prolog.org/）