Zubek, J., & Kuncheva, L. (2018). Learning from Exemplars and Prototypes in Machine Learning and Psychology.arXiv preprint arXiv:1806.01130.
本文比较了心理学中的分类模型和机器学习中的近邻分类器(1-NN)，它们都是基于相似性的分类模型。在心理学领域中，范例模型和原型模型之间的争论已经很久了，最近人们开始混合两种模型。在机器学习中，对于一个给定的训练集，机器学习通过一些方法生成参考集，最近邻分类器使用这一参考集形成分类模型。比较这两个领域的模型，机器学习和认知心理学都可以从中获得灵感，丰富基于相似性的模型库。
1两个领域的对应术语和建模方法
1.1术语
下表介绍了在心理学、机器学习、模式识别、统计中对于同一个概念的不同术语表达
（PS：模式识别：人给机器提供各种特征描述，让机器对未知事物进行判断；机器学习：人给机器提供海量样本，让机器通过样本来发现特征，然后对未知事物进行判断，更具体来讲，就是机器从已知的经验数据中，通过某种特定的方法（也就是算法），训练学习出一些规律（模型），根据提炼出的规律判断未知事物。）
1.2 建模方法的比较
机器学习和认知心理学的建模方法之间有相同之处，也有不同之处。
都基于相同的假设：任意刺激x都有n个维度特征，有空间Rn可以表示这些刺激；空间中，用距离反映相似度；有一个训练数据集（带类别标签），包含N个刺激以及各刺激对应的类别标签y。
第一个不同点就是x代表什么以及怎么获得。在机器学习中，x是从分类问题中随机抽取的，由于各类的问题是呈概率分布的，所以对于任意的x∈Rn，有一组与类别（Ω={ω1，...，ωc}）相关的概率，先验概率P(ωi)指x来自类别ωi的可能性；P(ωi|x)指x的真实类别是ωi的概率。在心理学中，x则由主试设计或选择，没有概率分布的特点，所属的类别固定。
第二个不同点是“拟合模型”指什么。在机器学习中，指用数据集x训练分类器，经过训练的分类器可以为空间Rn中的任意一点分配类别标签，理想情况下可以很好地估计后验概率。 在认知心理学中，用被试的分类结果拟合模型，将刺激x归为类别ωi的概率计算如下：
M指总人数，mi指将x归为ωi的人数。
第三个不同点是模型评估程序。在机器学习中，主要指标是泛化精度(或称测试精度)，给分类器新的测试数据集（带类别标签），测量正确分类的百分比。在心理学中，往往用模型来拟合数据集，比较拟合结果和实际结果，指标是拟合优度，目的是解释实验结果；不过，存在过拟合的风险，指该模型只对该数据集有效，无法推广。
2从心理学角度看参考集S
（PS：到现在一共出现了三种数据集合，训练集，测试集，参考集。训练集就是用来学习训练的数据；测试集只在机器学习中有，它是不同于训练集的新的数据集合，目的是测试模型的泛化精度；参考集就是经过算法计算后，遗留的构成模型的数据。）
参考集S在心理学中的发展：原型模型假设参考集S只由原型组成，每个类别由一个原型来表示。范例模型假设参考集S由所有学过的范例组成。
原型模型和范例模型的支持者争论了很久。范例模型的支持者认为，如果只记住原型，就无法学习分散/复杂的类别结构。对此，原型模型提出除了原型，记忆还存储了一些额外的信息。
很多研究都表明范例模型比原型模型有更好的拟合度，但也有人认为，实验中使用的人工类别与原型模型旨在解释的自然类别非常不同，所得的结论在自然类别中不具推广性。同时，范例模型也被认为是低效的、不合理的，首先，人们不可能记住所有实例，并在分类中应用，其次，范例模型不涉及抽象过程，可能会过拟合数据，泛化能力有缺陷。
不过，从数学的角度来讲，这两个模型非常相似，都是从例子中学习，唯一区别在于例子的数量。从这一角度看，两种模型是可以统一的。神经心理学的研究支持这一观点。给被试展示来自不同类别的图像，发现看到同一类别的图像时，不论图片典型或是不典型，大脑的激活模式均相同。
Machery(2011)认为原型和范例是互补的，而不是相互排斥的。他建议研究在这两种分类模式之间起中介作用的因素。Briscoe & Feldman(2011)论证了数据复杂性可能是一个中介因素。他们假设，人类会根据类别结构的复杂性，调整心理表征的复杂性，以此实现泛化精度，而不是一个完美的训练精度。Smith(2014)也主张从泛化精度的角度分析类别表征，强调其对生存的进化重要性。不同的分类模型在不同的环境中是最优的。这就需要灵活和适应性强的方法来构造参考集S。
（PS：泛化精度和训练精度是机器学习中的概念，泛化精度是模型应用于测试集的准确度，训练精度是模型应用于训练集的准确度。）
3从机器学习角度看参考集S
在机器学习中，参考集的内容被称为原型（非原型模型的原型）。原型可以直接从训练集中选择；也可以新生成非训练集的数据。不过，这些形成原型的方法，并不等同于人类的认知过程。
首先介绍两种早期方法：压缩和错误编辑，大致对应范例和原型模型。
3.1原型选择:压缩
Hart提出Condensed Nearest Neighbour(CNN) ，它的作用是，对于一个数据集x（带类别标签），CNN能够找到最小的子集S，将S作为参考集，1-NN能正确分类x中所有对象，即达到100%训练精度。
3.2原型选择：错误编辑
错误编辑的目的与压缩不同，不是找到能达到100%训练精度的最小子集，而是清理潜在的“噪声”对象，因为噪音的存在会影响1-NN的分类。Wilson提出算法Edited Nearest Neighbour(ENN)，其步骤如下，在刺激集x中找到对象j的k个相似对象，如果j被这k个对象错误分类，那么删去j，此步骤遍历x中的所有对象，余下的就是参考集。
错误编辑这一算法倾向于保留各类别的中心对象，删除易产生噪音的边界对象。它是一种抽象学习，因为更“典型”的范例可能会被保留，但不是合并到一个原型中。后续，错误编辑算法被不断完善，具有更好的泛化性能，能更好地消除参考集的冗余。
3.3原型选择:混合策略和不可知策略
混合策略：混合策略融合了原型模型和范例模型。一种方法是先用错误编辑算法清理边界区域，然后用压缩算法缩小参考集。例如，Wilson的方法，先清理了边界，然后再减少冗余。
不可知策略：不可知策略是指该算法是由函数驱动的，没有实际上的意义，它不明确定义对象是边界的或内部的，也不在这两者之间寻求平衡。参考集的挑选通过一个标准函数进行，这个函数是
，其中E(S)指将S作为参考集时，1-NN分类器的错误，|S|是参考集S的基数，N是数据集x的基数，λ是常数，用来平衡数据冗余和准确性。随机编辑就使用了这一策略，它适用于特征量少的小数据集，它生成T（T是固定常数）个基数为N的随机子集，将这些子集作为参考集，计算J(S)，返回最佳子集。
3.4原型生成：聚类
假如参考集的选择范围不再局限于训练集x，而是可以指定Rn中的任意点，并选择其类别。那么最简单的方法是聚类，其原型就是聚类中心。具体方法有两种，第一种是从类别入手，在每个类别中选择原型，然后将这些原型集中到一个集合中(前监督方法)；第二种是从集群入手，对这个数据集进行集群，根据集群中的主要类别，再为其分配类别标签并选择原型(后监督方法)。
（PS：监督学习：提供训练数据，以及带有标签的事件结果；非监督学习：只提供数据训练数据，算法自动发现数据的内部结构；集群是非监督学习算法的一种。没有找到前监督学习和后监督学习的有关介绍）
3.5原型生成:学习向量量化(LVQ)
学习向量量化分类器(LVQ)在训练数据的引导下，通过微小的增量移动来确定原型在空间中的位置。虽然这些原型倾向于将自己定位在概率分布模式中，但它们可能不是该类中最“原型化”的例子。（看完下文4.1RMC可以更好地理解“增量移动”的意思，以及为什么不是最“原型化”）
（PS：学习向量量化(LVQ)属于原型聚类，即试图找到一组原型向量来聚类，每个原型向量代表一个簇，将空间划分为若干个簇，从而对于任意的样本，可以将它划入到它距离最近的簇中，不同的是LVQ假设数据样本带有类别标记，因此可以利用这些类别标记来辅助聚类。）
4心理模型与原型生成方法的比较
本节链接了机器学习和心理学中寻找参考集S的方法。
下图是两个领域的方法的对应关系
下面介绍与机器学习方法对应的心理学部分。
4.1RMC
分类的理性模型(RMC)是最古老的模型之一。该模型中，数据集群以增量的方式进行，新对象会被分配到最相似的集群，但若此对象与所有集群的相似度都低于阈值，就创建一个新的集群。耦合参数定义了能够创建新集群的相似性阈值，故集群个数由该参数间接控制。
在RMC中，类别标签被视为一个属性，是空间中的一个维度，这使得RMC与LVQ、两种聚类方法类似，但并不完全相同。RMC与LVQ的相似之处在于聚类过程，都是迭代进行的，结果取决于对象的呈现顺序。
4.2MMC
混合分类模型(MMC)是聚类方法的直接实现，该方法通过高斯混合模型(GMM)进行模糊聚类。该模型中，聚类既可以独立于类别(后监督)，也可以独立于特定类别(前监督）。聚类的数量事先确定。
4.3REX
分类的简化范例模型(The Reduced EXemplar model of categorisation，REX) 假设只有一些范例被保留在记忆中，相似范例要么遗忘，要么合并。记忆和遗忘将REX与原型选择方法组联系起来；合并将REX与原型生成组联系起来，K-means聚类可用样本替换聚类中心，从这个意义上说，REX与后监督聚类有关。（这边没怎么看懂）
4.4SUSTAIN model
SUSTAIN model使用类似于RMC的迭代聚类过程。不同的是，在它的监督版本中，当对象被错误分类时，就会形成新的聚类。换言之，聚类的数量是动态的，取决于刺激的呈现顺序。
与LVQ的相似点：过程是迭代的，在成功分类后转移集群中心到同一集合；与LVQ的不同点：聚类个数不固定。与CNN相似点：聚类是动态形成的，在CNN算法的内部循环中，错误分类的对象被添加到参考集中。
4.5VAM
在可变抽象模型(Varying Abstraction Model，VAM)中，聚类的概念范围被扩大到分区——即使例子彼此相距很远，并且被其他的例子分开，也可以被分组在一起。每个类别单独形成分区。
VAM的作用是作为一种工具来分析实验结果，它在拟合过程中会彻底搜索所有可能分区，发现合理的表征，但不会模拟学习过程。从机器学习的角度来看，这使得它的泛化能力存在缺陷，因为它可能会倾向于过度拟合；而且，这种分析方法只适用于非常小的数据集。对于这些问题，有人提出新的版本，使用k-means来确定每个类别中的集群。这是聚类前监督方法的直接实现，聚类的个数事先确定。
4.6 Rex Leopold I（看不懂）
5总结：
本文对机器学习中的原型选择技术与心理学中的分类模型作了匹配，这种匹配可以丰富双方的内容。
对心理学来说，提出了两个可能感兴趣的问题。第一，1-NN(基于原型/实例选择)的成功，为统一原型模型和范例模型的理论提供了依据，表明人类的分类模型中存在可变的抽象量。第二，分类模型的泛化能力非常重要，但经常被忽视。
对机器学习来说，机器学习和模式识别没有给出足够的理论解释，经常被指责为“黑匣子”。将心理学的理论见解整合到方法和算法中，可能会在一定程度上改善这一情况。