Reservoir Computing简介

最近主要在看Reservoir Computing。RC这个领域是由两篇twin paper共同确立的，这两篇paper一个从Engineering的角度提出了Echo State Network的概念，另一个从bio的角度提出了Liquid State Machine的概念。这两篇paper的链接如下，有兴趣可以拿来参考：

The "echo state" approach to analysing and training recurrent neural networks

Real-time computing without stable states: a new framework for neural computation based on perturbations

 

补充：最近还有看到一篇不错的overview, An overview of reservoir computing: theory, applications and implementations

Reservoir Computing的概念，简单来说就是给一个随机连接的Spiking Neural Network(称为reservoir)一些输入，然后用现有的机器学习的方法来学习这个Network对于特定的输入的pattern，从而达到pattern recognition的目的。可以做一个类比，如果把SNN等同于大脑的circuit的话，那么Reservoir Computing就是从大脑circuit里接出几个输出，然后判断这些连接输出地神经元都以怎样的pattern活动并归类，从而判别输入端接受到了怎样的信息(这点有点像利用EEG做Brain Computer Interface的方法)。当然Reservoir的模型可以不仅限于SNN，node的模型也可以各种各样，包括之前提到Izhikevich的Polychronization，就有人利用其作为Reservoir做了一些模式识别方面的研究(详见Delay Learning and Polychronization for Reservoir Computing)。

个人认为RC是自传统ANN之后又一可以产生大量应用的领域，而且其也从一定程度上揭示了大脑内部神经元组织的一种形式。但是如果只是着眼于其应用方面的研究的话，可以说又是一种止步不前。独立少量的神经元组肯定难以仿真出大脑的高级功能。随机分散连接的神经元结构可能在某个小局部区域而言是正确的，但是对于存在于大脑中的层级处理结构和结构之间的前馈反馈来说，又是不完全符合的。当然，RC可以是一个很好的坑，围绕其的research也许可以更多揭示大脑的原理。

补充：最近看到Brown大学的Stephen Grossberg几篇paper，对visual cortex神经元结构如何产生立体视觉、视幻觉等现象进行了解析，看了一下，还是很有趣的，打算下一阶段深入研究一下。

下面是这段时间以来浏览到的有关RC的链接和工具，个人整理，以供参考：

1. http://www.hirnforschung.net/cneuro/ 这是一个关于计算神经学和神经信息学汇总的网站，其Software Tools中收录了大量的Neural 仿真工具

2. CSim 是一个基于C++，利用Matlab Mex Interface的大脑circuit仿真器，这个网站是Blue Brain Project的老大Henry和提出Liquid State Machine概念的Wolfgang一起做的。

3. http://reslab.elis.ugent.be/software 是两个Reservoir Computing的Toolbox，一个是用Matlab写的，另外一个是用Python写的，有空都可以跑来玩玩。

 

继续为Matlab Mex和Python头大中。。。

 

 

关键词: Reservoir Computing, 仿脑算法