人工智能：神经网络与深度学习复习总结

人工智能：神经网络与深度学习复习总结

前馈网络（感知机为代表）

单神经元感知机可将输入向量分成两类：权值矩阵与输入向量的内积大于等于-b，感知机的输出为1；否则，感知机的输出为-1。
任务：选择适当的偏置值b和权值矩阵元素，使感知机可正确的二分类。

竞争网络（Hamming网络为代表）

前馈层：前馈层用于实现每个标准模式和输入模式之间的相关检测或求内积。为了使得前馈层能够完成其功能，可以用标准模式设置其权矩阵的行。
递归层：Hamming网的递归层就是所谓的“竞争”层。该层的神经元用前馈层的输出进行初始化，此输出指出标准模式和输入向量之间的关系。然后递归层中的神经元相互竞争以决定谁是胜利者。竞争后只有一个神经元的输出值不为0。竞争取胜的神经元就表示提供给网络的输入的类别。
如果递归层在后面的迭代过程中结果相同，则表明网络已经收敛。

递归联想存储网络（Hopfield网络为代表）

---

1. 单层感知机的优缺点及其原因

优点：可以快速、可靠的解决线性可分的问题，参数少
缺点：单层感知机只对线性可分的问题收敛
缺点原因：单层感知机只能将输入空间分为两个区域

2. 多层前向神经网络模型、算法与应用

3. 误差反向传播算法（BP）监督学习算法的特点

（1）能够自适应、自主学习。
（2）拥有较强的非线性映射能力。
（3）严谨的推导过程。
（4）较强的泛化能力

4. 反馈网络的工作原理及稳定性

工作原理：输出不仅与当前输入和网络权值有关，还和网络之前输入有关。
稳定性：网络从初态X(0)开始，若能经有限次递归后，其状态不再发生变化，即X(t+1)＝X(t)，则称该网络是稳定的。

5. 神经网络的应用（如控制、图像识别等）

6. 如何改进误差反向传播算法的性能

启发式BP算法改进：
批处理、动量BP算法（MOBP）、可变学习速度的BP算法（VLBP）
收敛性问题：在实际中，BP算法存在两个重要问题：收敛速度慢，目标函数存在局部极小。
常规BP算法收敛速度慢的原因是采用了瞬时梯度来修正权值，因而利用的信息很少。
改进方法:

7. Hopfield网络稳定性的分析与条件

当神经网络从t＝0开始，有初始状态a(0)；经过有限时刻t，有：a(t+△t)=a(t)，则收敛

8. Hopfield网络与TSP问题求解

9. Hopfield网络与前向网络的比较

（1）前向网络的目标是判断那个标准向量最接近输入向量，没有反馈结构，没有迭代过程，用于实现每个标准模式和输入模式之间的相关检测和内积。采用线性传输函数，偏置值向量中的每个元素均等于输入向量中的元素个数。
（2）Hopfield网络利用输入向量对网络中的神经元进行初始化，然后网络不断迭代至收敛，最终输出一个标准向量。可以有效实现前向网络的工作。

10. 输入/出星形学习算法及其几何解释

联想网络学习
（1）Instar规则
学习发生时，w向输入向量方向移动。如果输入向量是规格化的，那么W学习了一个特定向量p后也会成为规格化的。
（2）Kohoncn规则
学习发生在下标集指定的行上
（3）Outstar规则
学习发生时，w向输出向量方向移动。

11. 神经网络求解优化问题的理论分析与实践

（1）用代价函数法写出问题的目标函数
（2）写出网络的动态方程
（3）选择合适的初值，使网络按动态方程演化直到收敛为止

12. 深度卷积网络基本模型（卷积层、池化层、全连接层及其作用）与原理

13. 深度残差网络的基本模块、作用与应用

基本模块：前向传播过程，跳连接过程
作用：ResNet的结构可以极快的加速神经网络的训练，模型的准确率也有比较大 的提升。同时ResNet的推广性非常好。
应用：识别分类检测等

14. 神经网络在推进人工智能发展中的作用

15. 深度神经网络、多层前向神经网络的图像分类应用

16. 跨层神经网络研究进展与展望

17. 神经网络及深度学习的实验（实现）

---

补：

18.深度卷积神经网络的核心思想

19.n维空间线性不可分概念

输入向量无法用一个线性边界或者超平面分成两类
线性可分和线性不可分
首先大家不要直观理解线性可分就一定要是一条直线，线性可分指的是可以用一个线性函数将两类样本分开（注意这里是线性函数）,比如在二维空间中的直线，三位空间中的平面以及高维空间中的线性函数。这里指的可分是没有一丝误差的分开，线性不可分指的就是部分样本用线性分类面（这个看清楚）划分时会产生分类错误的现象。

20.前向神经网络学习的训练数据如何选择

具有代表性，能够覆盖所有的预测场景数据分布（随机遍历法，正交设计法，均匀设计法）

21.简述Lyapounov稳定性定理

22.简述神经网络处理和数字计算机处理的主要区别

（1）基于对人脑组织结构，活动机制的初步认识提出的新型的网络体系，其目的是期望模仿脑神经系统的组织结构以及某些活动功能
（2）结构上，处理和存储不分离
（3）巨量、并行、自主学习、非线性
（4）快速性、容错性、灵活性

23.Sigmod型神经元非线性活动函数有何优点

优点：从图片上
（1）可以看到sigmoid函数处处连续 ->便于求导；
（2）可以将函数值的范围压缩到[0,1]->可以压缩数据，且幅度不变，数据在传递的过程中不容易发散。
（3）便于前向传输
缺点：
（1）在趋向无穷的地方，函数值变化很小，容易缺失梯度，不利于深层神经网络的反馈传输
（2）幂函数还是比较难算的
（3）函数均值不为0，当输出大于0时，则梯度方向将大于0，也就是说接下来的反向运算中将会持续正向更新；同理，当输出小于0时，接下来的方向运算将持续负向更新。

24.单层感知机可以用于简单2类模式分类，给出其基本学习算法和收敛条件

算法：权值矩阵与输入向量的内积大于等于-b，感知机的输出为1；否则，感知机的输出为-1。
收敛条件：两次迭代之间的权值变化已经很小，误差小于某个预先设定的较小的值