什么叫非局部泛化（generalise non-locally）

Neil Zhu，ID Not_GOD，University AI 创始人 & Chief Scientist，致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标，带领团队快速成长为人工智能领域最专业的力量。
作为行业领导者，他和UAI一起在2014年创建了TASA（中国最早的人工智能社团）, DL Center（深度学习知识中心全球价值网络），AI growth（行业智库培训）等，为中国的人工智能人才建设输送了大量的血液和养分。此外，他还参与或者举办过各类国际性的人工智能峰会和活动，产生了巨大的影响力，书写了60万字的人工智能精品技术内容，生产翻译了全球第一本深度学习入门书《神经网络与深度学习》，生产的内容被大量的专业垂直公众号和媒体转载与连载。曾经受邀为国内顶尖大学制定人工智能学习规划和教授人工智能前沿课程，均受学生和老师好评。

Yoshua Bengio's quora answer.

问：什么样的算法可以称为是可非局部泛化的？
答：我指的非局部泛化算法是对那些与训练过程中的输入相距很远的输入也泛化得较好的学习算法。这类算法必须能够对解释数据的内在概念的新的组合进行泛化。近邻方法和相关的像 kernal SVM 和 Decision Tree 算法只能在某些训练样本的空间邻居上按照简单的方式组合（like linear interpolation or linear extrapolation）进行比较好的泛化。因为解释数据的内部概念的可能配置的数目是指数级大的，这些算法的泛化虽然不错，但是还不足够好。非局部泛化表示能够泛化到超级大内在概念的可能的配置的空间的能力，那些新的数据可能会离观测到的训练数据很远，远远超过训练样本的邻居的训练样本的线性组合。

---

原文：

I mean that the algorithm should be able to provide good generalizations even for inputs that are far from those it has seen during training. It should be able to generalize to new combinations of the underlying concepts that explain the data. Nearest-neighbor methods and related ones like kernel SVMs and decision trees can only generalize in some neighborhood around the training examples, in a way that is simple (like linear interpolation or linear extrapolation). Because the number of possible configurations of the underlying concepts that explain the data is exponentially large, this kind of generalization is good but not sufficient at all. Non-local generalization refers to the ability to generalize to a huge space of possible configurations of the underlying causes of the data, potentially very far from the observed data, going beyond linear combinations of training examples that have been seen in the neighborhood of the given input.