知识和博弈增强的深度学习

转自东南大学崇志宏

深度模型的分类

1. 感知型神经网络:从输入到识别或分类的感知型神经网,没有记忆能力。其代表性的神经网络有卷积神经网络。

2. 记忆型神经网络:能够对历史有记忆的神经网络,如有内在记忆的LSTM神经网络和可 微分的外在记忆单元(external memory)的神经网络,如神经网络图灵机。对于有外在记忆单元的神经网络需要通过关注(attention)的技术存取记忆。

3. 具有知识的神经网络:能够对输入的语义或输出的结果语义有理解的神经网络。将知识进行向量化处理后表示在外在外在存储单元中,通过关注或相关性进行知识的存取,再通过知识对输入进行语义化处理。知识也可以通过神经网络进行表示,然后通过两个网络的相互作用将一个网络的知识转移(transfer)到另外一个网络的权值结构上。

4. 博弈性神经网络:通过神经网络的相互竞争或合作将知识进行相互转移,再通过均衡实现网络学习和优化。Alpha Go的关键技术部分是通过self-play实现超越人类水平,而不是编码人类下棋的技术。

从有导师学习到无到无导师学习的驱动力

深度学习里有几个基本的理念:1)可训练或可导神经网络,可 训练和训练时间复杂度不是一个概念,前者是收敛的均衡点,后者是时间开销;2)自主和泛化的神经网络;3)高维小样本推断;4)模型表达 能力和训练复杂度折中。在实践中遇到的一个困难是标注数据的稀缺。两个方面的结合,导致几个技术思路:1)转移学习,将一个网络中编码的知识转移到新网络的设计和训练;2)知识表示和对网络的权值或拓扑结构影响,如Markov Neural Network,直接将知识转化为神经网络的结构;3)对抗网络、对偶网络和博弈网络,本质上转移学习的新的表达形式,通过网络间的竞争或合作实现自主和解决标注困难。

深度学习新特点

从有导师学习到无导师学习的趋势非常明显,突出自主学习,从感知到认知的提高,增加自动化特色。网络设计技术:1)权值共享主要是解决计算复杂度和可训练问题;2)关注解决记忆的结构化和存取;3)通过关注技术的迭代实现推理功能,编码结构化的记忆单元;4)知识的神经网络表示,是感知和认知能力的初步结合;5)博弈均衡形成神经网络的群体智能,也是结构化网络设计模式的理论基础。

你可能感兴趣的:(深度学习,软件工程)