【23-24 秋学期】NNDL 作业1

一、人工智能

1.定义

人工智能（AI）是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学，用来生产出一种新的能以人类智能相似的方式做出反应的智能机器。该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。（百度百科）

2.分类

对于人工智能的智能程度，可以将人工智能分为弱人工智能（ANI）、强人工智能（AGI）和超强人工智能(ASI），如下图所示（来自渤海证券）。

3.理解

通过我学过的机器学习以及现在学的深度学习，我可以使用计算机通过对时序性等的研究对未来某个事物进行预测（回归问题），可以实现对某几种事物的分类等。我认为人工智能就是将人们已有的知识进行学习然后寻找规律，帮助人类解决问题。

在生活中，举个例子，比如说天气预报。天气预报需要大量的、多种多样的资料，人工智能可以处理大数据；当资料的时空数据密度不够，人工智能具有对不完全不确定信息的推断能力；此外人工智能还可以总结专家的知识经验，提高平均预测水平。可以看到，当实际问题过于复杂时，我们没办法很准确地找到其规律（人不是完全理性的）。如果我们可以赋予机器一定的智能，让机器自己去解决问题，让机器去找“规律”，是机器自己完成的，人只提供数据，并没有参与其“找规律”的过程，我认为这就是人工智能的一个体现。

二、机器学习

1.定义

机器学习（ML）是一个致力于理解和建立"学习"方法的研究领域，也就是说，利用数据来提高某些任务的性能的方法，是人工智能的一个子集。（全球百科）

机器学习的过程就是通过输入海量训练数据对模型进行训练，使模型掌握数据所蕴含的潜在规律，进而对新输入的数据进行准确的分类或预测。

2.分类

如下图所示，机器学习任务主要包括监督学习、无监督学习、半监督学习和强化学习。（图来自第5 章 机器学习基础_机器学习流程图_sunshinecxm_BJTU的博客-CSDN博客）

3.理解

我认为机器学习就是计算机利用已知数据得出某一模型，然后利用此模型进行预测的一种方法，由于这个过程跟人的学习过程有些类似，所以叫机器学习。

机器学习的学习过程为：收集数据，对数据进行处理比如清洗异常值减少噪声等，然后选择合适的算法训练测试数据，最后对数据结果进行评估。

（图来自第5 章 机器学习基础_机器学习流程图_sunshinecxm_BJTU的博客-CSDN博客）

三、深度学习

1.定义

深度学习（DL，Deep Learning）是机器学习（ML，Machine Learning）领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能（AI，Artificial Intelligence）。

深度学习的概念源于人工神经网络的研究，如下图所示，含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。研究深度学习的动机在于建立模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本等。（图、文都来自百度百科）

2.分类

以算法分类，深度学习可以分为：

• 常用于影像数据进行分析处理的卷积神经网络(简称CNN)
• 文本分析或自然语言处理的递归神经网络(简称RNN)
• 常用于数据生成或非监督式学习应用的生成对抗网络(简称GAN)

3.理解

通过自己的学习，以及在网上查找的资料，发现深度学习源于人工神经网络的研究，而神经网络就是由好多个神经元组成的系统，神经元是一个简单的分类器。深度学习就是模拟人类的神经网络。当问题太复杂时需要多层神经网络，深度学习就是一种为了让复杂的多层神经网络可以训练、降低代价可以运行，而演化出来的一系列的新的结构和新的方法。

在分类中：

卷积神经网络的应用主要包括图像分类、目标检测及语义分割。比如一个很常见的，百度中的“识万物”就是一种图像分类。

递归神经网络可以处理图像或数值数据，并且由于网络本身具有记忆能力，可学习具有前后相关的数据类型。其中RNN有输入一张图像，但是输出为一段关于图像叙述的句子等应用。

生成式对抗网中3D-GAN就是可以生成高质量3D对象。其中的应用有人脸置换或表情置换等，如下图。

四、人工智能、机器学习、深度学习三者之间的关系

1。定义

机器学习是一种实现人工智能的方法，它利用统计学习算法来使计算机系统从经验中学习，从而改进其性能。深度学习是机器学习的一种特定类型，其模型采用深度神经网络结构，可以自动从数据中提取特征和模式，并对任务进行端到端的训练和优化。（图文来自百度的高级互联网专家）

2.理解

在前边对人工智能、机器学习、深度学习的定义中可以看出机器学习是人工智能的一个子集，而深度学习是机器学习的一个子集。

我认为机器学习是实现人工智能的一个途径，而深度学习则是机器学习的一类算法。比如，把人工智能比喻成学霸的大脑，那么机器学习就是学霸通过大量数据来进行学习，深度学习就是学习过程中这个学霸用的一种高效率的学习算法。

五、人工智能的流派

1.定义

 如图所示，从流派上可以分为，对人类已有知识进行组织编辑的符号主义、通过数学理论公式推导聚类和预测问题的连接主义，以及利用机器模仿生物活体行为的行为主义三个流派（来自2019年中国知识图谱行业研究报告）。

2.理解 

在对人工智能导论的回顾和搜集资料中发现：

符号主义是人工智能发展的早期阶段，也称为逻辑AI，而专家系统是符号主义的主要成就。专家系统依赖于人类专家的知识和经验。

连接主义是人工智能发展的一个重要分支，也称为神经网络AI。连接主义他们试图建立一种基于神经元模型的学习算法来模拟人类的学习过程，以实现机器的智能化。代表性算法就是深度学习。

行为主义又称进化主义。它的贡献主要是在机器人控制系统方面。20世纪末，行为主义正式提出智能取决于感知与行为，以及智能取决于对外界环境的自适应能力的观点。其中行为主义的代表性应用有遗传算法教AI打游戏。

可以看出，这三个流派就是人工智能历史发展不断延伸不同时期的代表。（图来自https://www.bilibili.com/read/cv23365447/ ）

六、特征工程

1.定义

特征工程或特征提取或特征发现是利用领域知识从原始数据中提取特征（特性、属性、属性）的过程。其动机是利用这些额外的特征来提高机器学习过程的结果的质量，而不是只提供原始数据给机器学习过程。（来自全球百科）

2.理解

我认为特征工程就是从原始数据中筛选出更好的数据特征，使得机器学习的学习效果更好。特征工程通常包括数据预处理、特征选择、降维等环节。就是对数据进行合适的处理，然后通过归一化、处理缺失值等得到最具代表性的数据，最后得到的正确的特征可以减轻构建模型的难度，使机器学习流程输出更高质量的结果。（图来自(38 封私信) 特征工程到底是什么？ - 知乎 (zhihu.com)）

七、表示学习

1.定义

表示学习是学习一个特征的技术的集合：将原始数据转换成为能够被机器学习来有效开发的一种形式。（百度百科）表示学习利用神经网络、深度学习模型等技术，通过逐层抽象和编码数据，从而获得更具有判别性和可用性的表征形式。

2.理解

在这就感觉表示学习与特征工程有点相像，于是在搜集资料后进行一下简单区分：传统的机器学习方法主要依赖人工特征处理与提取，而深度学习则依赖模型自身去学习数据的表示。

表示学习一般指模型自动从数据中抽取特征或者表示的方法，是模型自动学习的过程；

特征工程主要指对于数据的人为处理提取，是人工提取的工程。

表示学习的一个重要算法就是深度学习，深度学习是最灵活的表征学习。

八、贡献度分配

1.定义

贡献度分配问题（Credit Assignment Problem，CAP），指每个组件的贡献是多少。一种可以比较好解决贡献度分配问题的模型是人工神经网络（Artifi-cial Neural Network，ANN），也简称神经网络。

2.理解

由于深度学习采用的模型一般比较复杂，样本的原始输入到输出目标之间的数据流经过多个线性或非线性的组件。每个组件都会对信息进行加工，进而影响后续的组件。当我们最后得到输出结果时，那么我们如何知道其中每个组件的贡献是多少呢？这个就是贡献度问题。可以通过神经网络来解决。

九、独热码

1.定义

one-hot编码被称为独热码，在英文文献中称做 one-hot code, 直观来说就是有多少个状态就有多少比特，而且只有一个比特为1，其他全为0的一种码制 。 简单的来说就是用0和1的编码方式来表示需要处理的一些信息，以达到该信息向量化的一种手段。（百度百科）
独热码是一种二进制编码方法，它是一种将离散的符号转换为向量的方法。在独热码中，每个符号都被编码为一个唯一的向量，其中只有一个元素为1，其余元素都为0。这个元素的位置表示该符号在字典中的索引。

2.理解

在搜集到的资料中发现，独热码经常用于机器学习中的分类问题。比如文本分类。但是在文本中对其分类时，文字是无法直接进行计算，也就是进行数字编码才能对文本进行计算，所以就需要用独热码对文本进行量化处理。

十、word2vec

1.定义

Word2vec，是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系，该向量为神经网络之隐藏层。（来自百度百科）

2.理解

在搜集关于word2vec相关资料时，得到了一个很重要名词——词嵌入，以下是对它的解释：

词嵌入是一种将单个单词转换为单词的数字表示（向量）的技术。当每个单词被映射到一个向量时，这个向量就会以一种类似于神经网络的方式被学习。向量试图捕捉该词相对于整个文本的各种特征。这些特征可以包括单词的语义关系、定义、上下文等。通过这些数字表示，可以识别单词之间的相似性或不相似性。

感觉理解通过上述内容词嵌入有点困难，同时感觉词嵌入似乎和独热码很相像，在查阅资料后对词嵌入的理解更加清晰，如下文：

最简单的嵌入是文本数据的one-hot编码，其中每个向量将映射到一个类别。但是ont-hot编码在大量数据的情况下会出现维度灾难（因为只有0和1表示），可以通过分布式表示来解决这个问题。分布式表示的思路是通过训练，将每个词都映射到一个较短的词向量上来。这个较短的词向量维度的大小通常需要我们在训练时自己来指定。这种将高维度的词表示转换为低维度的词表示的方法，我们称之为词嵌入。

其中word2vec中有skip-gram和CBOW这两种算法：

其中CBOW就是通过当前中心词的上下文单词信息预测当前中心词。

而skip-gram概念是在每一次迭代中都取一个词作为中心词汇，尝试去预测它一定范围内的上下文词汇。

（图来自 word2vec介绍_vincent_hahaha的博客-CSDN博客）

个人感觉还是不太理解，可能知识储备太少，属实看不太懂。

十一、神经网络

1.定义

人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。（图文来自百度百科）

2.理解

在查阅有关神经网络的相关定义时，感觉神经网络与深度学习有点相像，于是查了一下它们两个的主要区别：

深度学习：通常由多层、大量神经元组成的深层网络，可以自动学习数据的高级特征；通过大量数据和长时间的训练，能够自动学习到数据的高层次特征。

神经网络：通常需要手动设置和调整参数，学习策略相对固定；结构相对简单，通常只有少数几层，需要手动选取和设计特征。

神经网络的学习过程是通过调整连接权重来实现的。

深度学习的训练过程是神经网络接收一组已知的输入和对应的输出，通过计算实际输出与期望输出之间的误差，并利用误差反向传播算法来更新连接权重。通过反复迭代训练，神经网络能够逐渐优化权重，提高对输入数据的处理和泛化能力。

十二、端到端学习

1.定义

端到端学习（End-to-End Learning），也称端到端训练，是指在学习过程中，不需要明确地给出不同模块或阶段的功能，中间过程不需要人为干预。端到端学习的训练数据为“输入-输出”对的形式，无需提供其他额外信息。端到端的学习是不做其他额外处理，从原始数据输入到任务结果输出，整个训练和预测过程，都是在模型里完成的。

2.理解

在查阅有关资料后， 大白话解释一下，就是有一份工作，这个工作的中间步骤很多很复杂，如果想要简单快速地完成这份工作，需要不考虑中间的过程处理。那么可以选择端到端学习，也就是初端到末端的快速学习。端到端学习可以只学习x对于y的映射，即学习输入x，对应标签输出y，仅仅通过学习映射的方式就可以解决工作。

通常来说，数据量很多的时候端到端学习相比分步学习要好，但是如果你的数据量并不大，还是分步骤的学习效果更好。

深度学习提供了一种“端到端”的学习范式，整个学习的流程并不进行人为的子问题划分，而是完全交给深度学习模型直接学习从原始数据到期望输出的映射。端到端学习可以解决前文中提到的贡献度分配问题。