预测性编码（Predictive Coding）简介

预测性编码（Predictive Coding）简介

Yanping Huang and Rajesh P. N. Rao

摘要

预测性编码（Predictive Coding）是在神经系统中对认知冗余进行缩减（understanding redundancy reduction）并且进行高效编码的统一框架。通过仅仅传入感觉信号中没有被预测到的部分，预测性编码能够让神经系统减少信息冗余，并且可以充分利用神经元的在追踪信息动态方面的限制（the limitied dynamic range）。在神经系统中将这种高效编码的假说作为设计原则（design principle）后，预测性编码能在很大程度上有效解释神经反应与大脑组织方面的问题。视网膜视觉感受野以及外侧膝状体自然形成为了对外界图像进行预测性编码的一个序列。在更高级的视觉系统中，预测性编码可以解释定位感受野、背景信息效应乃至皮层各层次之间的联结与组织。预测性编码能够稳定地在不同的脑区的神经生理学数据和心理学数据中检测到。

导言

自然界的信号中充满了大量的冗余。这种冗余会随着这些信号在时间和空间上的相似性而提高。例如，在图片中临近像素的强度通常都会有比较高的相关度，因为形状总会限制在一定的空间区域；类似的， 每个像素的强度在时间层面上也是相关的，因为物体在时间上也是连续存在的。让一组知觉感受器受到原始图像的直接反应而激活是非常低效的。长期以来，人们通常根据信息论认为早期感觉加工的作用是减少冗余，并且将输入的信息进行重编码为更为高效的形式。其中一种能够实现这个目标的方式就是预测性编码（Predictive Coding）。预测性编码假设神经网络会学习自然世界中事件内在的统计规律，并且通过移除输入信息中可以预测的部分从而减少冗余，仅仅传递不可预测的部分（预测中的残差 residual errors）。

预测性编码提供了对围绕中心的反应以及对视网膜和外侧膝状体神经元的二相时间拮抗（biphasic temporal antagonism）的有效解释。根据预测性编码模型，视网膜以及外侧膝状体的神经环路会积极根据最近的输入信息的线性权重和预测刺激强度的值。在这些环路中的细胞传递的并不是这些图像本身的强度，而是预测值与真实刺激之间的差异。这种去相关，通过将输入信号在时间和空间光谱上进行扁平化（flattening），可以减少输出的冗余。最终的结果便是不同的信号之间只有较小的变化范围，并且使得通过信息变化范围受限的视觉通路，进行信息的经济性提高。

在主要视觉皮层（V1）上的神经元会对特定朝向的棒状物或边缘产生反应偏好，从而使在V2与V4区的神经元会对更为复杂的形状与轮廓产生反应。内侧颞叶的神经元则会对视觉运动产生反应。这些对行为的选择性反应能够通过自然信息输入的多层次预测性编码进行解释。例如，运动实际上就是视觉系统在多个皮质层次上的相互整合。Rao 和 Ballard 提出了一个多层次神经网络模型，该模型中从高级的视觉皮质区到低级的神经活动的预测性信息之间建立自上而下的联结，同时自下而上的联结则传递预测中的残差信息。在使用自然场景中的一些图片碎片训练了一个神经网络模型后，他们发现该模型的神经元产生了属性上类似V1的视觉感受野，包括能感受到方向、启动与停止以及其他类似的效应。Jehee 等提出预测性编码模型符合 MST 神经元在运动中对光流（optic flow）的选择性作用，而这种作用则能够被脑解释为在空间中的运动。

在这篇总数中，我们严谨地通过高效编码框架（efficient coding framework）介绍预测性编码，并且通过该编码在空间与时间中应用的例子来阐明这个概念。我们随后回顾了预测性编码为什么可以用来理解神经系统在很多领域中的神经反应。我们最终将会对其他支持大脑在进行预测性编码的实验，进行一个简单的总结与讨论。

预测性编码的一般性框架

预测性编码的潜在假设是视觉系统会尝试建立一个对外部环境的内在模型，并使用该模型积极预测输入的信号。因此可以将这个过程使用一个生成模型写为 P(I|r) ，即图像 I 的概率以及一系列隐藏的内在参数 r（反映神经网络中神经元的激活比率）。当输入一个图像 I ，神经系统就会假定去选择参数 r ，使得先验概率在贝叶斯理论下最大化 P(r|I) = P(I|r)P®/P(I) ，其中 P(I) 是恒定不变的。从信息论的观点来看，使得 H 变成描述全部信息的长度，例如编码长度的总和 H_{1} = -logP(I|r) ，或者长度H_{2} = -logP® 的r参数本身。最小化总描述长度 H = -logP(I|r) - logP® 等价于预测编码假设下最大化参数的后验概率。因此，最小化描述长度（minimum description length，MDL）框架可以视为是等价于贝叶斯最大化后验概率拟合（Bayesian maximum a posteriori，MAP）方法。

（接下来需要把生成模型和MDL、MAP研究一下）

文章来源：Huang, Y., & Rao, R. P. N. (2011). Predictive coding. Wiley Interdisciplinary Reviews: Cognitive Science, 2(5), 580–593. http://doi.org/10.1002/wcs.142