熵和spike train---信息和熵

熵和spike train—信息和熵

在这一节中我们将利用信息理论来探索神经系统的编码特性。

spike train

• spike train：在一个时间序列中，我们在给定的timebin上标记有无spike出现，此时问题转换为yes or no question，即我们可以用二元变量对于spike train进行描述
  

这里的$P(1)$是假设spike出现在某个timebin里的概率，$P(0)$指的是某个timebin没有fire（即为沉默状态）的概率

$information(1)$以及$information(0)$和则是在此种情况下得到的信息，这是根据信息理论所得出的计算结果。

熵

• 熵：熵即随机变量的平均信息，换句话说熵衡量了变量的混乱程度（变异性），即encoding的内在可变性。
  

encoding是靠在output中生成刺激驱动的可变性来进行编码的，那么一个好的encoding过程也就意味着output具有明显的内在可变性，即有一定熵值。

而内在可变性越大，encoding过程的表征能力也就越强（包含的信息也就越多）。但是考虑到熵所表的混乱程度，对于刺激和响应我们还需要更进一步的理解：

案例引入

在这里我们引入一个猴子观察箭头方向的例子，当出现右箭头的视觉刺激时，猴子视觉皮层会产生一个spike：

我们可以发现前两个刺激和响应是明显相关的，而最后一个刺激和响应呈现了一种“misfire”的现象，这里涉及到有关noisy data的处理在简单神经编码模型—特征选择已有涉及，那么我们今天所要探讨的便是另外一个问题：我们在 r 中看到的可变性有多少是实际上用来编码 s 的？

noisy encoding

面对noisy encoding的情况，我们需要考虑出错的可能性：

即对于刺激s生成的响应r（spike），存在错误概率q/1-q（刺激时没有响应发生或没有刺激时出现响应），正确概率1-q/q。在这里我们可以将一部分错误概率归结为沉默响应的状态。

所以我们现在需要做的就是量化有多少响应的熵是分配给noise的，并将其减去以排除其对于encoding过程内在可变性的影响。

因此在这里我们引入了总熵和噪声熵两个变量。这里的总熵为刺激情况下产生响应或是没有刺激情况下保持沉默的熵值，而噪声熵则是misfire状态（刺激时没有响应发生或没有刺激时出现响应）下的熵值。

互信息

在这里我们引入互信息，即响应携带的有关刺激的信息和。

响应和刺激之间的互信息则是用上一节的总熵减去噪声熵来实现的。

为了更好的理解互信息，我们作以下假设：当我们的概率p一定时（=1/2），随错误概率（这里将错误概率与沉默概率都设置为q）q增大，spike响应r对于刺激s的表征能力逐渐降低，响应r与刺激s的相关性逐渐降低，并且在q=1/2时相关性消失。这也是符合生物学意义的。

因此我们可以说互信息量化了变量R和S之间的相关性。

欢迎大家关注公众号奇趣多多一起交流！