《评人工智能如何走向新阶段》后记（再续25）
405，从神经元个体膜电位生长可变的神经动力系统
在神经拟态工程学中，通过神经元集成建模、突触相连建网（组建大规模脉冲神经网络）、（从单个神经元膜电位）到生长可变的神经动力系统，形成脉冲（尖峰）神经网络工作机制
美国华盛顿大学（UW）电子系统工程学院、生物工程学院的研究团队于2020年4月7日在biorxiv平台上发表了一篇论文：脉冲（尖峰）神经元和神经元集成模型及生长可变的神经动力系统。
该文介绍神经元的动态、脉冲响应、神经元集成建模，以及通过突触相连形成的大规模的脉冲神经网络，单个神经元产生的动作电位（膜电位）和其状态以及与神经元集成相应的生长可变的神经动力系统，该文介绍了一种新型的神经元集成及其脉冲神经网络模型。
该模型的优点是它可独立控制三个神经动力学特性：①控制稳态的神经元集成模型的动态，该神经元集成动态编码了精确的网络能量功能的最小值；②控制网络中单个神经元产生的动作电位的状态（不影响网络能量的最小值）；③在不影响网络能量最小值或动作电位状态的情况下，控制脉冲统计和瞬时神经元集成动态。
所提模型的核心是生长可变的神经元集成及其脉冲神经网络的动力学系统的各种变体（各种可变的神经动力系统解决方案）。
无论网络规模和神经元连接性的类型（抑制性或兴奋性）如何，均可产生稳定且可解释的神经元集成动态。
本文为研究者使用网络构建了一个脉冲关联存储器，与传统体系结构比，它使用的脉冲更少，同时在高存储器负载下保持了较高的查全率。
访问 https://www.biorxiv.org/content/10.1101/523944v5.full.pdf
可查阅本文。
406，利用脉冲神经网络和瞬态编码机制处理瞬态信号的运作机制
这是一篇来自谷歌研究者研发Ihmehimmdi项目的论文。
该项目是研发如何利用脉冲神经网络和瞬态编码机制处理瞬态信号并探索其运作机制；研发全连接的脉冲神经网络对于瞬间编码的处理能力；通过在模型中使用突触转移函数测量模拟神经元系统在接收信号时膜电位的电势的升高及衰减过程，检查突触效率，并精确测定突触后脉冲时间对于突触前脉冲时间权重的导数。
论文摘要：
对瞬态信息的保留有助于更好地表达像声音一类动态特征，同时可以对瞬态发生的时间实现快速响应。在生物中，尽管神经系统有几十亿神经元，但信息仅仅依赖于单个脉冲信号传递，单个神经元将信息编码到时间信号，并发出信号在神经网络中传输。信号脉冲本身包含了丰富的信息。
在神奇的生物特性启发下，Ihmehimmeli项目聚焦于脉冲神经网络（SNN），利用不同架构和学习体制充分挖掘瞬态信号动力学行为。利用脉冲神经网络和瞬态编码机制处理信号，这样的编码机制天然存在于脉冲时序输入的神经元特征中，而这种网络输出则由最早激活的输出神经元进行编码。
研究人员在最近发表的模型中阐述全连接脉冲神经网络对瞬间编码的处理能力。在模型中使用生物特性启发的突触转移函数，检查突触的效率，信号强度的变化是由连接的权重决定的，这代表突触的效率。
参考文献可查找：
https：//github.com/google/ihmehimmeli
407，开发自监督场景去遮挡方法
近日香港中文大学、商汤、南洋理工大学的研究者提出一种自监督的场景去遮挡方法。
推动人工智能走向应用的四大要素是①算法②算力③大数据④应用场景。
自然场景理解是一项具有挑战性的任务，尤其是遇到图像中的物体互相遮挡的时候，现有的场景理解只能解析可见部分。
自监督场景去遮挡方法旨在恢复潜在的遮挡程序并补全被遮挡对象的不可见部分，其效果可媲美全监督方法。
408，AI下一波研究热点会是图神经网络吗？
在2019年11月3-7日召开的信息检索和数据挖掘会议“ACM-CKIM2019”中，图神经网络成为最大的热点，有人说“图神经网络是深度学习下一波的研究方向”。
图神经网络是神经网络的拓展，主要用来处理图数据。
图神经网络PK卷积神经网络
图神经网络和卷积神经网络都是用来处理图数据的。
图，在图论中，图的定义为由顶点的有穷非空集合和顶点之间边的集合组成，表示为G（Ⅴ，E），其中G表示一个图，Ⅴ是图中顶点的集合，E是图中边的集合，即图是由一堆节点和节点间的边构成的，用来描述节点与节点间的关系。目前基于卷积神经网络（或深度神经网络）的绝大多数算法都无法处理节点间的关系，只有基于图神经网络的算法才能处理图中节点间的关系。
卷积神经网络，其处理的图一般是我们平常理解的图像、视频这种很规则的图，这些图中的节点（可理解为像素）相互间是没有关联的。所以卷积神经网络不能处理节点间有关联的图，这时只能用图神经网络。
图神经网络（或图卷积神经网络）的工作机制是通过节点间信息传墦使整张图达到收敛（不再变化），可用事处理如社交网络、交通网络等不规则的图，它在生物、物理、化学、交通、医学等领域有广泛应用前景。
409，看到有人在跟贴408条上谈图神经网络，我想补充一些，为此也发一个跟贴讨论：
我记得好像在20年前Facebook提出图神经网络的一种嵌入式系统PyTorch-BigGraph（PBG）。
据我了解，现代图神经网络通常处理或训练包含数十亿个节点（node）和数万亿条边（edge）。
如果以PBG嵌入式系统来处理数十亿个节点、数万亿条边，是否超出了其处理的极限？
410，AI神经科学研究下一波的热点会是记忆痕迹（engram）吗？
看到跟贴408：AI下一波研究热点会是图神经网络吗？我也转引神经科学资深专家对下一波研究热点的预测。
2020年1月3日诺奖获得者Susumu Tonegawa（利根川进）教授和Sheena Josselyn教授在《Science》上发表题为“Memory Engram：Recalling the past and imagining the future”的报告，诠释：记忆的基本单位是Engram（记忆痕迹），报告者也证明Engram是大脑中的基本计算单位。
报告指出，一种经验可以激活一群神经元，这些神经元会经历持续的化学或物理变化，成为一个Engram。随后通过经验时可用的线索重新激活记忆，会诱导记忆提取。从细胞整体水平来说，内在兴奋性和突触可塑性的增强共同作用形成了Engram。
不久前马兰院士、刘星副教授在《NatureNeuroScience》上发表题为“AventralCAItonucleus accumbenscore engramcircuit mediate conditionedplace preference for cocaine”的有关Engram的研究。
在神经科学研究中，人类记忆理论中的记忆痕迹（Engram）会是下一波研究热点较好的选择，但由于神经科学的特殊性，实验动物的选择，实验操作的繁琐复杂等原因，要成为神经科学下一波研究热点可能还需较长时间。
411，为什么需要图数据库？
图数据库可看作图神经网络的关联技术
看到跟贴408，我也想参加“AI下一波热点是图神经网络吗？”的讨论，我将转引“为什么需要图数据库？”发一个跟贴跟进。
图数据库具有天然可解释性
图数据库在处理关联数据时在高性能、灵活、敏捷方面有优势
知识图谱是图数据库的底层应用场景（可为多行业提供知识服务）
412，将人工智能深度学习技术融入毫米波雷达，使其在自动驾驶、“城市大脑”智能交通中发挥更大作用
集萃深度感知研究所（简称“集萃感知”）是由江苏省产业技术研究院、无锡国家高新区及岳玉涛博士的深度感知团队联合共建的，面向市场和产业，企业化经营，聚焦于研发“传感与感知”的智能产品和系统（毫米波雷达是其改造和研发及量产的产品）。
“集萃感知”具有EMM技术、基于神经网络和逆散射的目标智能识别技术、异构传感融合技术、EHD工艺等一系列自主知识产权的优势技术，他们将人工智能技术融入毫米波雷达，使雷达具备更高超的能力，实现雷达和视觉等其他传感器的异构融合，达到准确、鲁棒、完整的环境感知，不仅能检测、识别目标，还能让雷达智能化，理解目标的特性与行为。
近年来隨着自动驾驶、车联网和“城市大脑”智能交通管理系统的崛起，毫米波雷达迎来了前所未有的发展机遇。
在改造与创新方针指引下，这些技术的应用，让“集萃感知”雷达性能提升，抗干扰指标降到原来的1/6，提升60%探测距离，大幅度降低虚警和漏检率，街道或公路路口红绿灯交通管理采用智能配时方案后，能将整个道路运行效率提升18%。
“集萃感知”还在布局研发使智能毫米波雷达在ADAS、手势识别、成像监控等领域的应用。
413，将人工智能引入新材料研发正在成为热点
剑桥大学Cole教授的建议
以材料基因工程为代表的材料信息学将人工智能引入材料研究，有望变革性地加速材料发掘和新材料研发进程，是当前研究的热点。
然而目前数据库的缺乏是材料信息学发展的最大瓶颈。如何快速获得海量、标准化、面向材料不同性质的数据是一个重大的挑战。
来自英国剑桥大学的Cole教授等将自然语言处理和机器学习相结合，提出一种有效方法，可以从海量科研文献中获取庞大的数据，并将其集成到机器学习工具中，以实现新材料的性能预测。
该方法是利用先进的自然语言处理工具包从科研文献中获取材料的化学名称和相变温度等信息，然后自动将这些数据标准化，形成数据库，并应用于机器学习中，可谓材料基因工程方法上的一次重要变革。
414，人工智能为什么会产生“灾难性遗忘”？
破解“灾难性遗忘”的方法何在？
“谷歌大脑”最新发现，在街机学习环境的多个子任务组成的单任务场景中也存在着“灾难性遗忘”。
“灾难性遗忘”指的是人工智能系统，如深度学习模型，在学习新任务或适应新环境时，忘记或喪失了以前学得的一些能力。“灾难性遗忘”会造成人工智能系统在原有任务或环境性能大幅下降。“灾难性遗忘”会阻碍模型对新知识的学习，“灾难性遗忘”会限制人工智能在一些场景中的应用。
有人说，在深度神经网络学习不同任务时，相关权重的快速变化会损害先前任务的表现。
破解“灾难性遗忘”的方法何在？
目前破解常见的方法是多任务学习，把所有任务的训练数据放到一起，模型可针对多任务进行联合优化；还有的解决方案是根据新的任务知识来扩展模型结构，保证旧的知识经验不被损害。
破解“灾难性遗忘”是实现通用人工智能的一个关键。要从根本上解决“灾难性遗忘”还是要催生底层理论和未来新技能的支持。
更多推荐：
《评人工智能如何走向新阶段》后记
《评人工智能如何走向新阶段》后记（再续1）
《评人工智能如何走向新阶段》后记（再续2）
《评人工智能如何走向新阶段》后记（再续3）
《评人工智能如何走向新阶段》后记（再续4）
《评人工智能如何走向新阶段》后记（再续5）
《评人工智能如何走向新阶段》后记（再续6）
《评人工智能如何走向新阶段》后记（再续7）
《评人工智能如何走向新阶段》后记（再续8）
《评人工智能如何走向新阶段》后记（再续9）
《评人工智能如何走向新阶段》后记（再续10）
《评人工智能如何走向新阶段》后记（再续11）
《评人工智能如何走向新阶段》后记（再续12）
《评人工智能如何走向新阶段》后记（再续13）
《评人工智能如何走向新阶段》后记（再续14）
《评人工智能如何走向新阶段》后记（再续15）
《评人工智能如何走向新阶段》后记（再续16）
《评人工智能如何走向新阶段》后记（再续17）
《评人工智能如何走向新阶段》后记（再续18）
《评人工智能如何走向新阶段》后记（再续19）
《评人工智能如何走向新阶段》后记（再续20）
《评人工智能如何走向新阶段》后记（再续21）
《评人工智能如何走向新阶段》后记（再续22）
《评人工智能如何走向新阶段》后记（再续23）
《评人工智能如何走向新阶段》后记（再续24）