DL Homework 1

(PS:定义都引用文心一言，知网，谷歌, csdn和知乎里其他相关博客，本博客中也引用了我觉得比较好的几个文章，如果发现总结有逻辑等问题，或者引用版权问题，欢迎指出，谢谢）

---

1.人工智能

        定义：人工智能（Artificial Intelligence，AI）是一个以计算机科学为基础，由计算机、心理学、哲学等多学科交叉融合的交叉学科、新兴学科。它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

        个人理解，简单的说，人工智能，就是赋予机器在某一方面以人类智慧，可以对人的意识、思维信息过程的模拟。

---

2.机器学习

        定义1:机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。

机器学习（概述一）——定义_机器学习算法_张连海的博客-CSDN博客https://blog.csdn.net/zhanglianhai555/article/details/90607554

        定义2:机器学习（Machine Learning，ML）就是让计算机从数据中进行自动学习，得到某种知识（或规律）。作为一门学科，机器学习通常指一类问题以及解决这类问题的方法，即如何从观测数据（样本）中寻找规律，并利用学习到的规律（模型）对未知或无法观测的数据进行预测。----《神经网络与深度学习》邱老师

        机器学习可以理解为对一个模型进行处理，从过去的经验开始学习，遇到一个新的问题，通过评估，如果效果不好需要再次学习(也就是训练),通过训练次数不断增加，在性能上会不断改进优化。

---

3.深度学习

        定义:深度学习（DL，Deep Learning）是机器学习（ML，Machine Learning）领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能（AI，Artificial Intelligence）。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。

        深度学习是机器学习的一个子领域。从一系列特征中学习一个具有层次的结构的特征集，深度学习能解决表征学习的主要问题。

---

4.人工智能、机器学习、深度学习三者之间的关系

（画画水平不行，简单明了，好理解的图就是好图！！！）

        人工智能、机器学习和深度学习之间的关系可以概括为嵌套关系。简单来说，机器学习是实现人工智能的方法，而深度学习是实现机器学习的技术之一。也可以说，机器学习是人工智能的子集，深度学习是机器学习的子集。

---

5.人工智能的流派

      人工智能主要分为以下三个流派：

1. 符号主义：符号主义是一种基于逻辑推理的智能模拟方法，又被称逻辑主义、心理学派或计算机学派。其原理主要为物理符号系统假设和有限合理性原理。符号主义一直在人工智能中处于主导地位，其代表成就是专家系统。
2. 连接主义：连接主义又称为仿生学派或生理学派，其原理主要为神经网络及神经网络间的连接机制与学习算法。其代表性成果是1943年由生理学家麦卡洛克和数理逻辑学家皮茨创立的脑模型，即MP模型，开创了用电子装置模仿人脑结构和功能的新途径。连接主义学习是人类大脑的事情，主要是对大脑进行逆向演绎。它利用连续误差测量来评判一个模型的优劣，然后利用梯度下降来优化模型。深度学习是连接主义的代表技术。
3. 行为主义：行为主义又称进化主义或控制论学派，其原理为控制论及感知-动作型控制系统。行为主义的一个显著特点是利用概率统计方法实现垃圾邮件的自动过滤，如贝叶斯算法。

        符号主义:符号表示和运算是一切的根本，不管人脑还是计算机都是符号构成的；

        连接主义:大脑才是一切智能的基础，重点从人脑的连接结构、机制等等解释人类智能的本质；

        行为主义:重点归结于感知和行动、通过不断的试错和反馈改进人工智能的行为表现；

---

6.特征工程

        定义:特征工程是一种从原始数据中提取出与待解决问题相关的关键特征属性的工程活动。它通过一系列方法，如数据预处理、特征选择和降维等，提供给算法和模型使用，以提升模型的训练效果。特征工程的目标是尽可能地提取出最好的特征，让机器学习模型更好地理解和预测数据中的关系和模式。特征工程在机器学习领域中扮演着至关重要的角色，因为并不是所有的数据都有相同的特征，因此需要通过特征工程来提取出最好的特征，以解决特定的问题。

深度了解特征工程 - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/111296130

        特征工程就是为了寻找重要特征——对最后评估具有明显影响作用的自变量。更为简单的讲，就是对数据进行人为的处理，包括缺失值的处理、特征的选择、降维等等各种预处理手段。

---

7.表示学习

        定义:表示学习(representation learning)，又叫特征学习(feature learning)或者表征学习，一般指模型自动从数据中抽取特征或者表示的方法，是模型自动学习的过程；

深入理解人工智能——什么是表示学习？ - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/402902793         定义很明确，这里就不解释定义了，表示学习就是针对模型自动抽取特征或者表示方法，是人工提取不好么，为什么还要机器提取呢？

        因为数据量小时我们可以根据人工经验和先验知识判断用什么特征以及什么模型好，但数据一多，我们对数据的理解就相对比较浅薄，做出的假设也越来越倾向于随机，先验知识所占的分量急剧下降，那么此时人工特征工程往往是无效的，因此就需要依靠极其强大的计算力去弥补我们自身知识的不足。

---

8.贡献度分配

        定义:深度学习方法的难点是如何评价表示学习对最终系统输出结果的贡献或影响，即贡献度分配问题.

        我的理解是 如何将模型的输出结果归功于其组成部分或特定操作的贡献就叫做贡献度分配，就比如神经网络，数据会经过多个层的的加工，且前一个层会对后一个层产生影响，就属于贡献度分配问题。

---

9.独热码

        定义:

        One-Hot编码，又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。

        One-Hot编码是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值。然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1。

 独热编码（One-Hot）最简洁理解_sereasuesue的博客-CSDN博客https://blog.csdn.net/sereasuesue/article/details/108803304

         我的理解为，独热码是一种编码方式，其核心思想是将每一个类别或者状态用一个独立的二进制位来表示，而每个状态只会由一个二进制位来表示。就比如，男，女等等这种离散、无序的特征，需要对其特征数字化，但又不能彼此之间又冲突，所以采取独热码的编码方式，起到了扩充特征的作用。

---

10.word2vec

        定义:Word2vec是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系，该向量为神经网络之隐藏层。

 如何通俗理解Word2Vec (23年修订版)-CSDN博客https://blog.csdn.net/v_JULY_v/article/details/102708459

（这个文章写的尊嘟很好，不知不觉就看了1个多小事，东搜搜西搜搜的，但是有的东西都没听过，突然接受很多，还有点蒙圈，等学完深度学习回来再重新看，插个眼！！！！)

        个人理解，word2vec就是针对独热码的升级，因为独热码有几个词，就要有多少个寄存器来存，这样就会导致如果有上万个词，那就GG了，所以word2vec诞生了，word2vec通过使用神经网络模型将词语转化为词向量，降低维度的同时赋予了词语义信息，很高级！！！建议大家看看，虽然我还没完全看懂，但是感觉很有意思。

---

11.神经网络

        定义:神经网络是一种模拟生物神经系统的计算模型，它由大量的人工神经元组成，并通过神经元之间的连接进行信息传递和处理。根据结构的不同，神经网络可以分为前馈神经网络和反馈神经网络。

        前馈神经网络是一种无回路的神经网络，其结构图是一个有向无环图。在前馈神经网络中，信息只能从输入层流向输出层，不会产生循环流动。单层神经网络、双层神经网络以及多层神经网络（如深度学习中的CNN）都属于前馈神经网络。

        反馈神经网络是一种具有回路的神经网络，其结构图是一个有向有环图。在反馈神经网络中，信息可以在神经元之间形成循环流动。Hopfield网络和深度学习中的RNN（循环神经网络）都属于反馈神经网络。

         神经网络可以理解为模拟人的神经元之间的传递，建立起来的一个数据传递的网络，直接上一个简单的神经网路的示意图

        这是一个很简单的神经网络，我们发现由输入层，隐藏层，输出层构成，图中一个又一个小圈代表的是一个又一个神经元，那么神经元到底是怎么传递我们的数据嘞

        原来是这样传递的(手动狗头),这就是最简单的神经元模型，也是神经网络的基础结构

        

        

        y即是神经元的的输出,多个这样的神经元就构成我们的神经网络啦~~~~~~~~

---

12.端到端学习

        定义:端到端学习（End-to-End Learning）是指在学习过程中，不需要明确地给出不同模块或阶段的功能，中间过程不需要人为干预，从原始数据输入到任务结果输出，整个训练和预测过程都在模型里完成。这种方法被认为是一种端到端学习的方式，也被称为“端到端深度学习”。

        我的理解是将整个学习任务作为一个整体，直接从输入到输出进行学习，而不需要人工设计中间步骤，省去了中间的过程，就称为端到端的学习。更简单点说就是，我们只关注原始数据到结果的直接关系，极大简化了模型训练预测的过程，大大提高效率。

---