【22-23 春学期】AI作业5-深度学习基础

1.人工智能、机器学习、深度学习之间的关系

人工智能、机器学习和深度学习之间的关系是逐层递减的。人工智能是一个宏大的愿景，目标是让机器像我们人类一样思考和行动，既包括增强我们人类脑力也包括增强我们体力的研究领域。而学习只是实现人工智能的手段之一，并且，只是增强我们人类脑力的方法之一。所以，人工智能包含机器学习。机器学习又包含了深度学习.

2.神经网络与深度学习的关系

人工神经网络和深度学习都是机器学习的分支，彼此之间有着密切的联系。人工神经网络可以说是深度学习的基础，是深度学习的基础理论和技术，因此，可以说深度学习是基于人工神经网络的。深度学习是人工神经网络的一个更新的进化，是将更复杂的多层网络结构和多模式的学习方法应用到人工神经网络结构中，从而实现更强大和全面的能力学习。

3.“深度学习”和“传统浅层学习”的区别和联系

深度学习和传统浅层学习是机器学习的两个主要分支。传统浅层学习包括支持向量机（SVM）、朴素贝叶斯、决策树等，这些方法通常使用手工设计的特征和浅层的神经网络来进行学习。相比之下，深度学习则是使用深层神经网络进行学习，可以自动地学习到更高层次的抽象特征，从而提高模型的准确性和泛化能力。

1. 特征工程：传统浅层学习需要手动设计和选择特征，而深度学习则可以自动地从原始数据中学习到更高层次的特征。
2. 数据量：深度学习需要更多的数据来训练模型，因为它有更多的参数需要学习，而传统浅层学习则需要更少的数据。
3. 计算资源：深度学习需要更多的计算资源来训练模型，如GPU等，而传统浅层学习可以在常规的计算机上进行训练。
4. 模型的表达能力：深度学习模型的表达能力更强，可以更好地处理复杂的非线性关系，而传统浅层学习模型的表达能力相对较弱。
5. 应用场景：传统浅层学习通常应用于小规模、低维度的数据集和特定的任务上，如文本分类、图像识别等；而深度学习通常应用于大规模、高维度的数据集和复杂的任务上，如语音识别、自然语言处理等。

尽管深度学习和传统浅层学习有一些区别，但它们也有联系。例如，在某些任务中，深度学习可以通过组合传统浅层学习算法来提高模型的准确性。此外，深度学习中的一些技术和概念，如卷积神经网络、循环神经网络等，也源于传统浅层学习中的一些概念和方法。

4.神经元、人工神经元

神经元（Neuron）是构成动物中枢神经系统和周围神经系统基本单位，它负责接收、传导和处理信息。而人工神经元则是模仿生物神经元结构设计出来用于计算机程序中处理信息的模型。

5.MP模型

MP模型是一种最简单的神经网络模型，它由一组输入节点和一组输出节点组成，没有隐藏层。MP模型通常用于二元分类问题，它能够将输入的向量映射到两个不同的输出节点上，输出节点的值表示对应类别的概率。MP模型的学习算法是感知机算法，它能够根据样本数据不断调整神经元之间的权值，以实现更准确的分类。

6.单层感知机 SLP

单层感知机是MP模型的扩展，它可以处理多元分类问题，但仍然只有一个输出层。SLP的输入层和输出层之间有一组权重，它们将输入的向量映射到输出节点上。SLP的学习算法与MP模型相同，即感知机算法。

7.异或问题 XOR

异或问题是一个经典的二元分类问题，即对于输入的两个二进制数，判断它们的异或值是否为1。由于异或问题无法使用单层感知机解决，因此需要使用多层感知机。

8.多层感知机 MLP

多层感知机是一种包含多个隐藏层的神经网络模型，它可以用于处理高维、非线性的数据，并且能够解决异或问题。多层感知机通过逐层进行非线性变换，从而学习到更抽象和高级别的特征，最终将输入向量映射到输出向量上。多层感知机的学习算法是反向传播算法，它能够根据损失函数的梯度来调整神经元之间的权重，以最小化损失函数。

9.前馈神经网络 FNN

前馈神经网络是一种最常用的神经网络模型，它由若干层神经元组成，其中每一层的神经元都与下一层的神经元相连。前馈神经网络的输入仅从输入层进入，输出仅从输出层产生。前馈神经网络通常用于分类、回归和预测等任务。

10.激活函数 Activation Function

激活函数是神经网络中的一种非线性函数，它的作用是将输入信号进行非线性映射，从而提高神经网络的表达能力。每个神经元的输出由激活函数对输入信号进行处理得到。激活函数在神经网络中起到了重要的作用，能够让神经网络处理非线性问题，并且使神经网络更加稳定和可靠。

11.为什么要使用激活函数？

神经网络是一种层次结构的模型，它由若干个神经元组成，而神经元本身是一个线性函数，它们的输出只是输入信号的加权和。如果神经元之间只使用线性函数，那么整个网络的表达能力将受到限制，只能处理线性问题，无法处理非线性问题。而使用非线性激活函数能够让神经网络处理非线性问题，并且提高网络的表达能力。

12.常用激活函数有哪些？

1. Sigmoid函数：sigmoid函数将输入值压缩到0~1之间，它具有良好的数学性质，但在深层神经网络中容易产生梯度消失的问题。
2. ReLU函数：ReLU函数在输入大于0时输出输入值，小于0时输出0，它不仅能够提高网络的表达能力，还能有效缓解梯度消失的问题。
3. Softmax函数：Softmax函数是一种归一化的指数函数，它将输入向量映射为一个概率分布。在分类任务中，Softmax函数通常用于将神经网络的输出转换为概率值，以计算交叉熵损失。
4. LeakyReLU函数：LeakyReLU函数是ReLU函数的一种变体，当输入小于0时输出一个较小的斜率，从而避免了ReLU函数的死亡神经元问题。

13.均方误差和交叉熵损失函数，哪个适合于分类？哪个适合于回归？为什么？

均方误差（Mean Squared Error）损失函数通常用于回归问题，它衡量的是预测值与真实值之间的差异。而交叉熵损失函数通常用于分类问题，它衡量的是预测概率分布与真实概率分布之间的差异。在分类问题中，使用交叉熵损失函数可以更好地优化模型参数。