神经网络与机器学习

第一章 绪论

1.1 人工智能

人工智能的一个子领域

• 神经网络：一种以（人工）神经元为基本单元的模型
• 深度学习：一种机器学习问题，主要解决贡献度分配问题

知识结构

知识结构图

路线图

预备知识

• 线性代数
• 微积分
• 数学优化
• 概率论
• 信息论

顶会论文

• NeurIPS、ICLR、ICML、AAAL、IJCAL
• ACL、EMNLP
• CVPR、ICCV

常用的深度学习框架

• 简易快速的原型设计
• 自动梯度计算
• 无缝CPU和GPU切换
• 分布式计算
• PYTORCH、TensorFlow

研究领域

• 机器感知（计算机视觉、语音信息处理、模式识别）
• 学习（机器学习、强化学习）
• 语言（自然语言处理）
• 记忆（知识表示）
• 决策（规划、数据挖掘）

1.2 如何开发AIS

学习规则（rule）
机器学习=构建一个映射函数

芒果机器学习

• 准备数据
• 学习（相关性模型）
• 测试

1.3 表示学习

机器学习的一般流程：

语义鸿沟:AI的挑战之一

• 底层特征VS高层语义
• 核心问题：“什么是一个好的表示”，“如何学习好的表示”
• 特征提取：基于任务或先验对去除无用特征
• 表示学习：通过深度模型学习高层语义特征

局部表示和分布式表示

• 局部表示:离散表示、符号表示
• 分布式表示：压缩、低维、稠密向量

1.4 深度学习（Deep Learning)

深度学习=表示学习+决策（预测）学习

深度学习的数学描述

1.5 人脑神经网络

人类大脑是人体最复杂的器官，由神经元、神经胶质细胞、神经干细胞和血管组成。

那么如何构造一个人工神经元呢？为此我们建立数学模型如下：

这里不同节点之间的连接被赋予了不同的权重，每个权重代表了一个节点对另一个节点的影响大小。每个节点代表一种特定函数，来自其他节点的信息经过其相对应的权重综合计算，输入到一个激活函数中并得到一个新的活性值（兴奋或者抑制）。从系统观点来看，，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应非线性动态系统。

人工神经网络

人工神经网络主要由大量的神经元以及它们之间的有线连接构成。因此考虑三方面：

• 神经元的激活规则：主要是指神经元输入到输出之间的映射关系，一般为非线性函数。
• 网络的拓扑结构：不同神经元之间的连接关系。
• 学习算法：通过训练数据来学习神经网络的参数。

虽然将神经网络结构大体分为三种类型，但是·大多数网络都是复合型结构。即一个神经网络包括多种网络结构。

神经网络与深度学习之间的对应关系（隐藏层=f）

那么如何解决贡献度分配问题？

神经网络发展史

五个阶段

• 第一阶段：模型提出
• 第二阶段：冰河期
• 第三阶段：反向传播算法引起的复兴
• 第四阶段：流行度降低
• 第五阶段：深度学习的兴起