读书笔记（机器学习：发展与未来）

转自360美图

理清一个关系，**人工智能 > 机器学习 > 深度学习 > 神经网络 **

机器学习源自人工智能(Artificial Intelligence)

1956年夏，美国达特茅斯学院，达特茅斯会议标志着人工智能这一学科的诞生

• 第一阶段：推理期 1956-1960s: Logic Reasoning

赫伯特•西蒙(1916-2001) 1975年图灵奖
阿伦•纽厄尔(1927-1992) 1975年图灵奖

• 出发点: “数学家真聪明！”
• 主要成就: 自动定理证明系统 (例如，西蒙与纽厄尔的“Logic Theorist”系统)

渐渐地，研究者们意识到，仅有逻辑推理能力是不够的 …

• 第二阶段：知识期 1970s -1980s: Knowledge Engineering

爱德华•费根鲍姆(1936- ) 1994年图灵奖

• 出发点: “知识就是力量！”
• 主要成就: 专家系统 (例如，费根鲍姆等人的“DENDRAL”系统)

渐渐地，研究者们发现，要总结出知识再“教”给系统，实在太难了 …

• 第三阶段：学习期 1990s -now: Machine Learning

• 出发点: “让系统自己学！”
• 主要成就: ……机器学习是作为“突破知识工程瓶颈”之利器而出现的

恰好在20世纪90年代中后期，人类发现自己淹没在数据的汪洋中，对自动数据分析技术——机器学习的需求日益迫切

机器学习有坚实的理论基础

Leslie Valiant( ( 莱斯利• 维利昂特) )( ( 1949- - ) ) 2010 年 图灵奖
计算学习理论 Computational learning theory
PAC (Probably Approximately Correct，概率近似正确) learning model [Valiant, 1984]

转自 机器学习：发展与未来

今天的“机器学习”已经是一个广袤的学科领域，事实上，“深度学习”(Deep Learning) 仅是机器学习中的一个小分支。

多种机器学习技术：

• 深度学习

• 强化学习
• 蒙特卡洛树搜索
• …

深度学习兴起

• 2006年, Hinton发表了深度学习的 Science 文章。
• 2012年, Hinton 组参加ImageNet 竞赛, 使用 CNN 模型以超过第二名10个百分点的成绩夺得当年竞赛的冠军。
• 伴随云计算、大数据时代的到来，计算能力的大幅提升，使得深度学习模型在计算机视觉、自然语言处理、语音识别等众多领域都取得了较大的成功。

2010年 – 至今 热潮7年
深度学习最重要的作用：表示学习
深度学习何处适用：数据的“初始表示” （例如，图像的“像素”）与解决任务所需的“合适表示”相距甚远

深度学习从技术上来看，就是“很多层”的神经网络
神经网络实质上是多层函数嵌套形成的数学模型

深度学习会不会“一统江湖、千秋万载”？

一统江湖？
不会! 很多学习任务，数据的“初始表示”与“合适表示”没那么远
千秋万载？
鉴古知今：让我们回顾一下神经网络的发展历史

神经网络发展回顾
1940年代-萌芽期： M-P模型 (1943), Hebb 学习规则 (1945)
1958左右-1969左右~繁荣期： 感知机 (1958), Adaline (1960), …
1969年：Minsky & Papert “Perceptrons”

冰河期
1985左右 -1995左右~繁荣期： Hopfield (1983), BP (1986), …
1995年左右：SVM 及 统计学习 兴起
沉寂期
2010左右-至今~繁荣期：深度学习

• 1950年代中：现代电子计算机广泛应用
• 1980年代初：Intel x86系列微处理器与内存条技术广泛应用
• 2000年代中：GPU、CPU集群广泛应用

结论：神经网络是相对最容易利用新增计算能力的机器学习方法
技术：未来未必是深度学习，但应该是能有效利用GPU等计算设备的方法

传统机器学习任务：主要针对封闭静态环境 （重要因素大多是“定”的）

• 数据分布恒定

• 样本类别恒定
• 样本属性恒定
• 评价目标恒定

机器学习走向实际应用需要解决的共性问题：封闭静态环境 --> 开放动态环境 一切都可能“变”

• 分布偏移

• 类别增长
• 属性退化
• 目标多样

开放环境下的机器学习：“鲁棒性”是关键！（“好的时候”要好，“坏的时候”不能太坏）
结论：随着人工智能技术取得巨大发展，越来越多地面临“高风险应用”，因此必须有“鲁棒的AI”
任务 ：未来开放环境学习任务，鲁棒性是关键

现状：“机器学习”形态是什么？ 算法 + 数据

“机器学习”有哪些技术局限？

• 需要大量训练样本（样本总量少：油田定位，特定类样本少：信用卡欺诈，有标记 (label) 样本少：软件缺陷检测 ）

• 难以适应环境变化（分布变化、属性变动、类别增加）
• 黑箱模型（自动医疗 ：个性化治疗方案，若学习器不能给出治疗理由，则难以说服患者接受昂贵的治疗方案。智能电网 ：大型变电站停机检测，若学习器不能给出停机检测的理由，则难以判断停机检测的风险和代价）
• Machine Learning as Magic（即便相同 数据，普通用户 很难获得机器学习专家级性能）
• 数据隐私和安全
• ...

Future：学件 (Learnware) = 模型 (model) + 规约 (specification)

(预训练的)模型+(描述模型的)规约
规约需能够：给出模型的合适刻画（基于逻辑、基于统计量、基于精简数据）

模型需满足：

• 可重用 (reusable)（学件的预训练模型仅需利用“少量数据”对其进行更新或增强即可用于新任务）

• 可演进 (evolvable)（学件的预训练模型应具备感知环境变化，并针对变化进行主动自适应调整的能力）
• 可了解 (comprehensible)（学件的模型应在一定程度上能被用户了解，包括其目标、学得结果、资源要求、典型任务上的性能等）

形态 ：未来，算法+ 数据 --> 学件

（周志华 著. 机器学习）个人浅见，谨慎参考，免受误导

• 深度学习可能有“冬天”
  它仅是机器学习中的一种技术；更 “ 潮”的技术总会出现
• 机器学习不会有“冬天”
  除非我们不再需要分析数据
• 关于未来
• 技术：能有效利用GPU等计算设备（未必是深度学习）…… 5年?
• 任务：开放环境机器学习任务（鲁棒性是关键） …… 10年？
• 形态：从“算法+数据”到“学件”（Learnware）…… 15年？