神经网络与深度学习：人工神经网络（上）

---

1.神经元与感知机

神经网络：人脑智慧的物质基础
神经元/神经细胞：生物神经系统的基本单元


人工神经网络：通过算法调整神经元中的权值，模拟人类神经网络的学习能力。

Delta法则：使用梯度下降法，找到能够最佳拟合训练样本集的权向量。
逻辑回归可以看作单层神经网络

多分类问题：设置多个输出节点

---

2.实例：实现单层神经网络

2.1神经网络的设计

2.2神经网络的实现

2.3具体步骤实现

导入库

加载数据

数据预处理

设置超参数和显示间隔

设置模型参数初始值

训练模型

训练结果

结果可视化

---

3.多层神经网络

3.1异或问题

线性分类器

3.2复杂边界问题

如果神经网络中有足够的隐含层，每个隐含层中有足够多的神经元，神经网络就可以表示任意复杂的函数或空间分布。

3.3前馈神经网络

每层神经元只与前一层的神经元相连；
处于同一层的神经元之间没有连接；
各层间没有反馈，不存在跨层连接。

3.4全连接网络

3.5万能近似定理

在前馈型神经网络中，只要有一个隐含层，并且这个隐含层中有足够多的神经元，就可以逼近任意一个连续的函数或空间分布。

多隐含层神经网络：
能够表示非连续的函数或空间区域；
减少泛化误差；
减少每层神经元的数量。

3.6隐含层的设计

训练集：训练模型，确定模型参数；
验证集：确定超参数；
测试集：评估模型的泛化能力。

---

4.误差反向传播算法

（Backpropagation，BP）
利用链式法则，反向传播损失函数的梯度信息，
计算出损失函数对网络中所有模型参数的梯度。

神经网络的训练：
使用误差反向传播算法计算梯度；
使用梯度下降法学习模型参数。

神经网络的误差反向传播：

---

5.激活函数

线性函数：无论有多少层隐含层，输出都是输入特征的线性组合。

5.1 sigmoid函数

5.2 ReLU函数

Rectified Linear Unit，修正线性单元

5.3 Leaky-ReLU函数

5.4 其它函数

---

6.实例：实现多层神经网络

6.1多层神经网络的设计

6.2多层神经网络的实现