《评人工智能如何走向新阶段》后记（再续22）
352.Nature长文综述：类脑智能与脉冲神经网络前沿
2019年11月28日普渡大学KaushikRoy、AkhileshJaiswal和PriyadarshiniPanda在《Nature》杂志上（Nature575，607~617/2019）发表Towards Spike-basedmachine intelligence with neuromorphic Computing
摘要：本文概述神经形态计算在算法和硬件方面的发展，介绍学习和硬件框架的原理，以及神经形态计算的主要挑战及发展前景、算法和硬件的协同设计等方面的内容。
导语：在人工智能如火如荼的今天，基于人脑的“脉冲”（Spiking）模拟计算框架下的脉冲神经网络（SNN）、神经形态计算（neuromorphic computing）有望在实现人工智能的同时，降低计算平台的能耗。这一跨学科领域以硅电路实现生物中的神经环路（circuit），现已发展到包括基于脉冲的编码以及亊件驱动表示的算法的硬件实现。
目录
一.算法展望
二.在SNNs中学习基于转换的方法
三.其他有待研究的方向
四.硬件展望
五.算法-硬件协同设计
六.总结
附：参考文献
353.创造具有类人脑的技术一直都是人工智能创新的源泉（nature（2019.11）类脑智能与脉冲神经网络前沿一文摘要一）
从前科学家一直认为人脑中的信息是通过不同的通道（channels）和频率传递的，如今他们认为人脑就像一台计算机。随着神经网络的发展，今天计算机已在多个认知任务中展现出非凡能力。
人脑能够执行惊人的任务（例如同时识别多个目标、推理、控制和移动），而能耗只有近2W，相比之下，标准计算机仅识别1000种不同的特体能耗就需要250w。尽管人脑尚未被探索穷尽，但人脑非凡能力归结于三个基本观察：广泛的连通性，结构和动能化的组织层次，以及时间依赖（time dependent）的神经元突触连接。
神经元（neurons）是人脑的计算原始元素，它通过离散动作电位（discreteaction potentials）或“脉冲”交换和传递信息。突触C synapses）是记忆和学习的基本存储元素。
人脑拥有数十亿个神经元网络，通过数万亿个突触相互连接。基于脉冲的时间处理机制使得稀疏而有效的信息在人脑中传递。
目前最先进的人工智能总体使用的是这种受到人脑层次结构和神经突触框架启发的神经网络。现代深度学习网络（DLNs）本质上是层级结构的人造物，像人脑一样用多个层级表征潜在特征，经过转換形成的。像人脑层次结构那样，各种硅基计算单元以层级方式排列，以实现高效的数据交換。尽管两者在表面上有相似之处，但人脑和硅基计算机计算原理之间存在鲜明区别：①计算机中计算（处理单元）和存储（存储单元）是分离的，不同于人脑中计算（神经元）和存储（突触）是一体的，②受限于二维连接的计算机硬件，人脑中大量存在的三维连通性目前无法在硅基技术上模拟，③晶体管主要为了构建确定性布尔（数字）电路开关，和人脑基于脉冲的事件驱动型隨机计算不同。
但是，使得“通用智能”（包括基于云服务器到边缘设备）无法实现的主要瓶颈是巨大能耗和吞吐量需求。
在人脑指引下，通过脉冲驱动通信从而实现了神经元-突触计算的硬件系统将可以实现节能型机器智能。神经形态计算始于20世纪80年代晶体管仿照神经元和突触的功能动作，之后迅速演化到包括事件驱动的计算本质（离散的“脉冲”人造物），最终在21世纪初期这种研究努力促进了大规模神经形态芯片的出现。
（待续）
354.建立一个突触权重可调节的脉冲神经元模型
脉冲驱动型计算（SNNs）优缺点（nature2019.11类脑智能与脉冲神经网络前沿一文摘要二）
今天算法设计师们正在积极探索（“学习”）脉冲驱动型计算的优缺点，去推动可扩展性、高效的“脉冲神经网络”（spikingneural networks，SNN）。
我们可将神经形态计算领域描述为一种协同工作，它在硬件和算法域两者中权重相同，以实现脉冲型人工智能。谈到“智能”（算法）方面，包括不同的学习机制（无监督以及基于脉冲的监督，或梯度下降方案），同时突出显示要利用基于时空事件的表征。算法有用于对抗硬件漏洞的鲁棒性，可以实现能耗和精度之间的最佳平衡。
算法展望：脉冲神经网络
按照神经元功能，将神经网络分为三个代际：①第一代被称为McCulloch-Pitt感知机，②第二代神经元单元增加了连续非线性（使其能计算一组连续输出值），③第三代神经网络主要使用“整合放电”（integrate-and-fire）型尖峰神经元，通过脉冲交換信息。
SNN使用信号的时间（脉冲）处理信息。脉冲本质上是二进制事件（0，1），SNNs中的神经元单元只有在接收或发出尖峰信号时才处于汪跃状态，因此它是事件驱动型的，可以使其节省能耗。若无事件发生，SNNs单元则保持闲置状态。SNN中的输入值为1或0，也减少了数字上的点积运算，减小了求和的计算量。
神经形态工程师的一个主要目标是：在利用基于事件（使用基于事件的传感器）及数据驱动更新的同时，建立一个具有适当突触可塑性（即突触的权重调节）做脉冲神经元模型，从而实现高效识别、推理等智能应用。
SNNs最大优势在于其能够充分利用基于时空事件的信息。今天我们有相当成熟的神经形态传感器来记录环境实时的动态改变，这些动态感官数据可与SNNs的时间处理能力相结合，以实现低能耗的计算。
高效的SNNs框架结合基于脉冲的学习规划，可以产生有效的训练。
尖峰神经元可以实现非连续的信息传递，并发出不可微分的离散脉冲，它们不能使用基于梯京下降型的反向传播技术（这是传统神经网络训练的基础）。
SNNs的缺点是在大多数学习任务中效果仍落后于第二代的深度学习。
SNNs还受限于基于脉冲的数据可用性。
SNNs训练算法的识别性能是在现有静态图像的数据集上进行评估的（如CIFAR或ImageNet）。
355.本文总结
nature（2019.11）类脑智能与脉冲神经网络前沿一文摘要三
神经形态计算（一种高效方式）
脉冲神经范式的算法含义
算法-硬件协同设计的跨层优化
基于脉冲的节能智能系统
如今，“智能化”已经成为我们周围所有学科的主题，本文阐述了神经形态计算作为一种高效方式，通过硬件（计算）和算法（智能）的协同演化的方式来实现机器智能。
本文首先讨论了脉冲神经范式的算法含义，这种范式使用事件驱动计算，而不是传统深度学习范式中的数值计算。描写了实现标准分类任务的学习规则（例如基于脉冲的梯度下降、无监督STDP和从深度学习到脉冲模型的转換方法）的优点和局限性。
未来的算法研究应该利用基于脉冲信号的信息处理的稀疏和时间动态特性；以及可以产生实时识别的互补神经形态学数据集；硬件开发应侧重于事件驱动的计算、内存和计算单元的协调，以及模拟神经突触的动态特征。特别引人关注的是新兴的非易失性技术，这项技术支持了原位混合信号的模拟计算。本文也讨论了包含算法-硬件协同设计的跨层优化的前景。例如，利用算法适应性（局部学习）和硬件可行性（实现随机脉冲）。
最后谈到，基于传统和新兴设备构建基于脉冲的节能智能系统与当前无处不在的人工智能相比，两者的前景其实是相吻合的。现在是我们该交换理念的时候了，通过设备、通路、架构和算法等多学科的努力，通过合作打造一台真正节能且智能的机器。
356.与神经科学建立联系/神经形态计算的出现
nature（2019.11）类脑智能与脉冲神经网络前沿一文摘要四
与神经科学建立联系
与神经科学的研究成果相结合，把这些抽象的结果应用到学习规则中，以提高学习效率。如Masquelier等人利用STDP和时间编码模拟视觉神经皮层，他们发现不同的神经元能学习到不同的特征，这一点类似卷积层学到不同的特征。研究者把树突学习和结构可塑性结合起来，把树突的连接数作为一个超参数，以此为学习提供更多可能。SNN领域的一项互补研究是LSM（liquidstate machines）。LSM利用的是未经训练、隨机链接的递归网络框架，该网络对序列识别任务表现卓著。但是在复杂的大规模任务上的表现能力仍有待提高。
神经形态计算的出现
在20世纪80年代，在生物神经系统领域，CarverMead设想了“更智能”、“更高效”的硅基计算机结构，他的工作代表了计算硬件领域的一种新的范式。Mead并不在意AND、OR等布尔运算。相反他利用金属氧化物硅（MOS）晶体管在亚阈值区的电气物理特性（电压一 电流指数相关）来模拟指数神经元的动力学特征。这样的设备一通路协同设计是神经形态计算中最有趣的领域之一。
357.“超级大脑”芯片/忆阻点积
nature（2019.11）类脑智能与脉冲神经网络前沿一文摘要五
“超级大脑”芯片
“超级大脑”芯片的特点是整合了百万计的神经元和突触，神经元和突触提供了脉冲计算的能力。Neurogrid和TrueNorth分别是基于混合信号模拟电路和数字电路的两种模型芯片。Neurogrid使用数字电路，因为模拟电路容易积累错误，且芯片制造过程中错误影响也较大。设计神经网络旨在帮助科学家模拟大脑活动，通过复杂的神经元运作机制一比如离子通道的开启和关闭，以及突触特有的生物行为。相比而言，TrueNorth作为一款神经芯片，目的是用于重要商业任务，例如使用SNN分类识别任务；而且TrueNorth是基于简化的神经元突触原型来设计的。
以TrueNorth为例，主要特征如下：
异步地址事件表示（Asynchronousadress event representation）：首先异步地址事件表示不同于传统的芯片设计（所有的计算都按照全局时钟进行），但是因为SNN是稀疏的，仅当脉冲产生时才要进行计算，所以异步事件拒动的计算模式更适合进行脉冲计算。
芯片网络（networks-on-chip，NOCs）可以用于脉冲通信，NOCs就是芯片上的路由器网络，通过时分复用技术用总线收发数据包。大规模芯片必须使用N0C，是因为在硅片加工过程中，连接主要是二维的，在第三维度灵活程度有限。因此尽管使用了NOC，芯片的联通程度仍然不能和大脑中的三维连通相比。包括TrueNorth在内的大规模数字神经芯片，如Loihi，已经展示除了SNN技术以外的应用效果。使得我们能更加接近生物仿真技术。不过，有限的连通性，NOC总线带宽的限制，和全数字方法仍然需要进一步研究。
忆阻点积
作为模拟计算的一个实例，忆阻点积（Memristivedotproducts）是实现原位神经形态计算的一种有前景的方法。可是表示点积的忆阻阵列中产生的电流既有空间依赖性又有数据依赖性，这使得交叉开关电路分析成为一个非常复杂的问题。研究交叉开关电路非理想状态的影响，探索减轻点积不准确影响的训练方法的研究并不多，而且这些工作大部分集中在深度神经网络而不是SNN中。然而我们可以合理假设，在这些工作中开发出的基本器件和电路的见解也能用于SNN的实现。现有工作需要精致的设备一通路模拟运行，必须与训练算法紧密耦合，以减少精度损失。基于最新设备的交叉开关阵列的理论模型，以及为点积误差建立理论边界的努力，都将引起人们的关注。这将使算法设计者无需耗时、设计选代设备一通路一算法模拟，就能探索新的训练算法，同时也能解决硬件不一致的问题。
358.阿里抗疫“AI黑科技”在日本落地
今天（4月3日）看到一则新闻：多家日媒点赞中国抗疫“黑科技”：阿里健康AI医疗技术落地日本医院。
包括GlotechTrends、宫崎日日新闻、Gunosy、Infoseek在内的20余家日本科技媒体，发文报导日本正在引进阿里健康（联合阿里云、达摩院）研发的新冠肺炎AI检测技术：
20秒即可完成一次疑似新冠病例CT检测、准确率达96%的前沿技术（此前已在中国近170家医院上线）。
针对欧美确诊案例出现井喷的原因，专家分析认为，很可能跟“检测瓶颈”和“医疗瓶颈”有关：各国检测能力的扩大没有赶上病毒感染面扩大的速度。
日媒的这条新闻似曾相识！其实有人早已在第258条跟贴留言中作了报导：2月15日阿里达摩院（联合阿里云）研发一套全新的AI诊断技术，可在20秒内对新冠肺炎疑似病例CT影像做出分析判断，识别准确率达96%。有了AI加持，通过NLP自然语言处理回顾性数据，使用CNN卷积神经网络训练CT影像的识别网络，AI可以快速鉴别和判读新冠肺炎影像。
为此我重复发出如上跟贴，一赞阿里AI专家研发抗疫AI科技的贡献，二赞AI跟贴留言者（及编者）及时报导。
359.通过新冠肺炎战役，中国在公共卫生领域最大规模应用AI信息技术，成为数字医疗引领者
4月3日美国经济学家戴维-戈德曼著文：这场新冠肺炎战役，充分体现出中国是数字医疗引领者。
中国的举措不是宣传攻势，而是技术模式的转变，中国在公共卫生方面的成就是切切实实的。
从1月底开始，中国在疫情中正确做法应该成为西方意识到在双方竞赛中已经到了落后的时刻！
中国最大规模地应用公共卫生领域的信息技术，并将其与常规公共卫生措施结合，包括对潜在的病毒携带者进行定位跟踪，识别可能的感染节点，对14亿人口中很大一部分人的生命特征持续进行监测，以及使用智能手机应用软件来管理个体隔离。
新冠肺炎疫情给了中国展示自已能力的机会，其结果令人震惊——以至于欧洲各大制药公司都有意加入中国引领的这一医疗领域的新潮流。
360.深度学习的新利器——快速训练的神经网络PANN/P-network
P-network是一种新型的渐进式人工神经网络，它将采用新的训练方法提供更高效的训练速度。
经典的人工神经网络ANN的训练主要受制于：ANN中每个突触具有一个权重，而神经网络ANN的训练是通过对训练图像进行权重计算和校正来实现的，其训练是通过大量的迭代进行的，训练速度较慢；新的神经网络P一network的设计方法是：其每个神经突触都有多个校正权重，校正权重是由一个分配器根据信号的值来选择的，因此不同输入信号可启动不同的权重，并将这些权重发送到与突触相连约神经元。
如将P一network 训练与典型的ANN训练比较，在同样精度下P一network训练速度为1ms，DNN为22141ms，前者要快得多！
361.基于清华“天机”芯片，“灵汐科技”可实现自行车无人驾驶
“灵汐科技”是一家类脑芯片研发商（2018.1成立）
该自行车能够追踪移动目标，跟随目标直行、转弯、避障，车身搭载平衡传感器确保车身不倒，根据情况灵敏调整，能够进行语音识别，通过语音指令执行转向、加速等多种操作。
“天机芯”是清华大学施路平教授团队研发的全球首款异构融合类脑芯片（2019.8登上nature封面）。
362.目前AI专家研究中的四足“机器狗”还不具备“真实狗”的同样能力
尽管“机器狗”的能力很强，但目前它们往往还无法与真实的动物相媲美！部分原因在于，因为要直接从“真实狗”身上学习或模仿像它们一样做各种动作是很难的。
谷歌与加州大学伯克利分校合作，企图找到一种方法，使四足“机器狗”的动作能像“真实狗”一样：轻盈小跑、跌倒奋起、敏捷动作。
在训练过程中，要求专家具有高度洞察力，要对每一个技能进行冗长、细致的观察，不断调整，而且要在正常的秩序中加入一点可控的混乱。通常狗的动作会被捕捉到，但对脚、关节等关键点要进行仔细追踪，在数字模拟中这些点要被模拟成“机器狗”的样子，研发虚拟版“机器狗”，尝试用虚拟“机器狗”的动作模仿“真实狗”的动作，边学边改。
现在的问题是，真实世界不是一个二维平面，也没有理想化的摩揸力规范，这就意味着未经修正的模拟步态会让“机器狗”摔倒在地上。
研究人员要在模拟中在使用的物理参数中引入隨机性元素，并通过学习适应这种隨机性，尤其要进行额外的虚拟训练。
目前“机器狗”的研发取得很大成绩，但研究工作还在路上。
363.推动脑机接口技术发展，研发控制意念的读心术
目前处于发展初级阶段的脑机接口技术时不时冒出若干案例。加州大学伯克利分校的肯德里克-凯伊为我们共享他收集到的资料：
一位美国的中风瘫痪患者志愿接受脑机接口试验，在他的大脑中植入一颗芯片，并将这颗芯片与筆记本电脑连接，使该患者最终学会如何利用意念编辑电子邮件、玩视频游戏和上网。
日本本田公司曾制造一个机器人，这时戴着头盔的员工可通过意念控制机器人的活动。
凯伊说他们正在研究，：使脑机接口志愿者从一大堆影像中识别他看到的特定影像，而且通过检测其大脑活动可将这一影像还原。
凯伊还说，他已经研发出一个可以破解脑电波信号的电脑程序，他正在编订一本“意念词典”，助力研发控制意念的读心术。
《评人工智能如何走向新阶段》后记
《评人工智能如何走向新阶段》后记（再续1）
《评人工智能如何走向新阶段》后记（再续2）
《评人工智能如何走向新阶段》后记（再续3）
《评人工智能如何走向新阶段》后记（再续4）
《评人工智能如何走向新阶段》后记（再续5）
《评人工智能如何走向新阶段》后记（再续6）
《评人工智能如何走向新阶段》后记（再续7）
《评人工智能如何走向新阶段》后记（再续8）
《评人工智能如何走向新阶段》后记（再续9）
《评人工智能如何走向新阶段》后记（再续10）
《评人工智能如何走向新阶段》后记（再续11）
《评人工智能如何走向新阶段》后记（再续12）
《评人工智能如何走向新阶段》后记（再续13）
《评人工智能如何走向新阶段》后记（再续14）
《评人工智能如何走向新阶段》后记（再续15）
《评人工智能如何走向新阶段》后记（再续16）
《评人工智能如何走向新阶段》后记（再续17）
《评人工智能如何走向新阶段》后记（再续18）
《评人工智能如何走向新阶段》后记（再续19）
《评人工智能如何走向新阶段》后记（再续20）
《评人工智能如何走向新阶段》后记（再续21）