第一章 绪论

1.1 人工智能

人工智能就是要让机器的行为看起来就像是人所表现出的智能行为一样．

（1） 感知：模拟人的感知能力，对外部刺激信息（视觉和语音等）进行感

知和加工．主要研究领域包括语音信息处理和计算机视觉等．

（2） 学习：模拟人的学习能力，主要研究如何从样例或从与环境的交互中

进行学习．主要研究领域包括监督学习、无监督学习和强化学习等．

（3） 认知：模拟人的认知能力，主要研究领域包括知识表示、自然语言理

解、推理、规划、决策等.

1.1.1 人工智能的发展历史

1.1.1.1 推理期间

1.1.1.2 知识期

1.1.1.3 学习期

人工智能发展史

1.1.2 人工智能的流派

1）符号主义（Symbolism)

2)  连接主义（Connectionism)

1.2 机器学习

机器学习（ Machine Learning， ML） 是指从有限的观测数据中学习（ 或“猜测”） 出具有一般性的规律， 并利用这些规律对未知数据进行预测的方法.

实际任务中使用机器学习模型一般会包含:

1）数据预处理：（量纲同一、去噪、分类、连续变量的编码等）

2）特征提取

3）特征转换：（降维升维）降维包括特征抽取（ Feature Extraction） 和特征选择（ Feature Selection） 两种途径． 常用的特征转换方法有主成分分析（ Principal Components Analysis， PCA）、线性判别分析（ Linear Discriminant Analysis， LDA） 等．

4）预测：机器学习的核心部分， 学习一个函数并进行预测．

传统机器学习的数据处理流程     

1.3 表示学习

如果有一种算法可以自动地学习出有效的特征， 并提高最终机器学习模型的性能， 那么这种学习就可以叫作表示学习（ Representation Learning）.

两个核心问题： 一是“什么是一个好的表示”； 二是“如何学习到好的表示”．

1.3.1 局部表示和分布式表示

局部表示通常可以表示为one-hot 向量的形式

优点：

1） 这种离散的表示方式具有很好的解释性， 有利于人工归纳和总结特征， 并通过特征组合进行高效的特征工程

2） 通过多种特征组合得到的表示向量通常是稀疏的二值向量， 当用于线性模型时计算效率非常高

不足之处： 

1） one-hot向量的维数很高， 且不能扩展

2）特征相似度为0

分布式表示通常可以表示为低维的稠密向量

和局部表示相比， 分布式表示的表示能力要强很多， 分布式表示的向量维度一般都比较低（RGB三维值表示颜色）

1.3.2 表示学习

1.4 深度学习

一种学习方法可以从数据中学习一个“深度模型”， 这就是深度学习（ Deep Learning， DL）． 深度学习是机器学习的一个子问题， 其主要目的是从数据中自动学习到有效的特征表示.

深度学习的数据处理流程     

1.4.1 端到端学习

1.5 神经网络

1.5.1 人脑神经网络

1.5.2 人工神经网络

1.5.3 神经网络的发展历史

第一阶段： 模型提出    1943年～1969年 MP模型、Hebbian法则、感知器

第二阶段： 冰河期    1969年～1983年    反向传播算法

第三阶段： 反向传播算法引起的复兴    1983年～1995年  Hopfield 网络、玻尔兹曼机、分布式并行处理、梯度消失阻碍

第四阶段： 流行度降低    1995 年～2006 SVM及其他简单方法的流行

第五阶段： 深度学习的崛起    2006年至今 “预训练 + 精调”+GPU设备

1.7 常用深度学习框架

（ 1） Theano

（ 2） Caffe

（ 3） TensorFlow

（ 4） PyTorch

（ 5） PaddlePaddle