人工智能讲座小记（对偶学习）

• 历史
  • 现阶段的做的最好的来自长期研究的加拿大学者
• 当前成就
  • 2005年深度神经网路的引入，语音识别飞跃
  • 2015，微软工具包导致语音识别差错率大大降低
  • 近年残差神经网路，图片识别错误率达到4.9%,击败人类
  • 2012机器翻译，可以达到大会实时翻译，微软可以达到你说话，对方听到他的母语
  • 游戏领域，腾讯绝艺达到围棋十段水平。
• 对待态度（表面光鲜亮丽，实际上还有很多技术短板），扎实学好技术，交叉学科研究，比如博弈论.
• 当前挑战，可以攻克的方向
  • 标注大量数据，代价高昂
    深度学习依赖有标记数据量太大，但很多重要的东西没有大样本​，经济黑天鹅，疑难杂症
  • 训练深层模型，步履维艰，对应策略：轻量级化，微软迭代神经网络，100G压缩到50M，算法设计精巧。微软目前做出最小主题模型，8台计算机即可完成训练
    大网络训练困难，梯度消减，模型爆炸，精度高但是用不了，太大了装不到手机上，GPU目前顶多20G，但模型却越来越大。
  • 分布式计算，左右为难
    门槛高，资金需求大，成千上万台机器通信很困难，如果不用同步计算，目前异步计算可能会用旧数据影响新数据，导致结果震荡或者不收敛
  • 调参黑科技，难言之隐
    深度学习包含着大量的人为经验，调参养了一帮人，对方技术成果无法重现
  • 黑箱算法，不明就里，对应策略：自主学习，增强学习
    参数量过大，出了问题根本没法纠错，发现
  • 蛮力解法，舍本逐末
    深度神经网络以超大数据容量解释数据表象，无法揭示其本质，自然本身简单而美
  • 偏向动物智能
    目前人工智能的主要成就主要偏向认知领域，偏向动物智能，如何实现人工智能，比如人可以用文字传播知识，建立学校，这是个值得探讨哲学问题
• 标注数据问题相关
  • 传统解法（仅仅属于数据预处理）
    • label propagation
    • multitask learning
  • 新进展(现在研究的主要方向不是对传统方法提升增强，而是开发新方法，新领域）:对偶学习
    • 发现：很多问题都是双向对称的：语音识别-文字转换，图像识别-图像生成（deal gan?没听清）,情感生成-情感分类，故尝试用这个体系框架而减少或舍弃标记数据
    • framework：双agent，一个负责x->y，一个负责y->x，刚开始两边都有一个不成熟模型。拿语义识别来说，初始一句话z，传递一圈中文转英文，英文转中文，得到z',两个如果相同，则还不错，如果语义差别大，则需要优化，需要数据量很小，10%的数据量可能达到比100%还要好的训练效果（Policy Gradient做优化，属于增强学习，不依赖可导进行优化）（此问题还有信息论的解释方式，更加严谨，会上未提）
      根据概率原理，可以证明对偶双方的概率两边具有内在关系（P(x,y)=P(x)*P(y|x;f)=P(y)*P(x|y;g)），通过正则项强制两边训练的时候相等，这样训练出的效果很好。如果开始只是单边训练，可以通过贝叶斯公式将概率再算一遍[P(y|x)=(P(x|y)*P(y))/P(x)]，将两次训练的结果综合，效果更好。
      实际上有些问题可那个存在多个对偶项，​，所以一个完整的圈上可能有多个agent，不过解决了对偶之后扩展到多个效果是相同的