8 基于实例的学习

存储所有实验用例，当有分类请求时，根据查询实例和已有实例的关系进行局部计算分类。不会有全局性的计算函数。归纳偏置是实例分布在欧式空间里是平滑的。

算法十四：k近邻，按属性值计算用例直接的距离，将查询实例分类为与之最邻近的k个分类的函数值。可以是最普遍、平均值、加权平均值等。有维度灾难的影响。可以用kd-tree作为快速索引。

局部加权回归，用查询实例的邻域作为训练集，使用距离作为权重，训练出一个临时分类函数，进行分类。基本不会超过二次函数。

算法十五：局部加权线性回归，使用属性的线性函数表示分类函数。使用梯度下降方法求LMS。均方可以是局部均方，带权全局均方，带权局部均方等。还可以使用特殊方法直接求系数。

径向基函数，f（x） = w0 + sum （wu * Ku（d（x，xu）），其中Ku被叫做核函数，sum只是求临近k个点。一般情况下，都是将Ku设为正态分布。构成了一个两层的RBF网络，第一层是Ku层（即正态分布的两个参数的估计），第二层是wu的线性组合。

计算方法： 0.先为每个样例分配一个核函数，方差值统一为同一个。使用全局方差最小。

1.先原始聚类，为每类生成一个核函数。用EM将每类拟合成一个正态函数。

基于案例的推理，使用比欧式空间更复杂的方式定义选用的案例，案例间可以合并成最终结果。

消极学习实际上是更针对查询用例生成了一个简单的目标函数（局部的函数），积极学习是全局的函数，导致消极学习更可能得到较好的分类。可以简化目标函数，使用全局查询的局部版。