深度学习 学习笔记
目录
深度学习的简介
定义、特点
方法论 “端到端”学习
缺点
深度学习来源
深度学习是实现机器学习的方法
定义
分类
机器学习是实现人工智能的途径
定义
源于人工神经网络
感知机简介
感知机
感知机的训练
下图为本文的主要思路：
深度学习的简介
定义、特点
深度学习就是一种包括多个隐含层(越多即为越深)的多层感知机。它通过组合低层特征，形成更为抽象的高层表示，用以描述被识别对象的高级属性类别或特征。
深度学习从原始的输入层开始，到中间每一个隐含层的数据抽取变换，到最终的输出层的判断，所有特征的提取，全程是一个没有人工干预的训练过程。这个自主特性，在机器学习领域，是革命性的。
如下为深度学习的示意图：
深度学习区别于其他机器算法的地方就在于其能够生成数据的中间表现。
方法论 “端到端”学习
“端到端”说的是输入原始数据（始端），然后输出的直接就是最终目标（末端），中间的过程不可知。
之前提到的深度学习“可统计”指的是对于同类数据具有一定的统计规律，而“不可推理”便说的是其非线性状态。哲学上来讲，这种非线性状态是具备了整体性的复杂系统，因此，深度学习的方法论可以说是从一个系统或状态直接整体变迁到另外一个系统或状态的形态。
缺点
深度学习显然也不是十全十美的，它目前存在以下问题：
- 只能根据寄有的数据来学习；不会判断数据正确性。深度学习可以在不理解数据的情况下模仿数据中的内容：它不会否定任何数据，不会发现社会上的偏见，而只是“学习数据”。
- 无法修正学习结果，除非重新训练。你无法通过在训练之后添加补丁，来修复深度学习模型。深度学习是一个神经网络，无法通过局部补救来修改某个答案，而是必须使用不同的、完全平衡的数据对该网络进行重新训练。
- 无法解释其做出的决策。深度学习给出的是非自然(合法)语言解释的结果。由于其“端到端”学习的特点，中间的过程无从得知。
- 应用市场较狭窄。
深度学习来源
深度学习是实现机器学习的方法
定义
机器学习就是运用数据及某种特定的方法（比如统计方法或推理方法）来提升机器系统的性能。传统的机器学习方法就是试图找到举一反三的方法，由可推理可统计向可推理不可统计的方向进发。而深度学习本质上就属于可推论不可统计的范畴。
分类
机器学习大致可分为三类 监督学习、非监督学习、半监督学习。
- 监督学习是先用训练数据集合学习得到一个模型，然后再使用这个模型对新样本进行预测，本质上可以说是“分类”。
- 非监督学习使用未标记过的数据，让学习算法自生发现数据的模型和规律，本质上可以说是“聚类”。
- 半监督学习就是以标签化的分类信息，通过聚类思想将未知事物归类为已知事物。其核心要义为：相似的样本具有相似的输出。
- 传统机器学习中没有包含强化学习，但实际上机器学习和人类学习中也常用。强化学习是通过多步恰当的决策来逼近一个最优的目标，是一种序列多步决策的问题。
后来科学家发现让神经网络自己学习如何抓取数据效果更佳，于是兴起特征表示学习。 而特征学习一般指模型自动从数据中抽取特征或者表示的方法，是模型自动学习的过程。当网络进一步加深，出现了多层次的“表示学习”，深度学习便由此产生。
而机器学习又是人工智能的一部分，因此接下来也简单说明一下人工智能的相关概念。
机器学习是实现人工智能的途径
定义
人工智能是为机器赋予与人类类似的智能。也可以说是用机器的“硅基大脑”模拟人的“碳基大脑”。
对于人的思维模拟可以从两条道路进行：
一是结构模拟，仿照人脑的结构机制，制造出“类人脑”的机器；
二是功能模拟，暂时撇开人脑的内部结构，而从其功能过程进行模拟。
现代电子计算机的产生便是对人脑思维功能的模拟，是对人脑思维的信息过程的模拟。
人工智能研究领域很广，包括机器学习、计算机视觉、专家系统、规划与推理、语音识别、自然语言处理和机器人等。
源于人工神经网络
在芬兰计算托伊沃 科霍宁的定义中，神经网络是一种具有自适应的简单单元构成的广范并行互联的网络，其组织结构能够模拟生物神经系统对真实世界作出的交互反应。
人工神经网络具有非线性、非局限性、非常定性、非凸性。
人工神经网络的特点和优越性，主要表现在三个方面：
- 第一，具有自学习功能。例如实现图像识别时，只需先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。
- 第二，具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。
- 第三，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，会很快找到优化解。
深度学习的概念便源于人工神经网络的研究，包含多个隐含层的多层感知机就是一种深度学习的结构。
感知机简介
由于深度学习从定义上来讲就是一个多层感知机，因此简单介绍感知机及其训练原理。
感知机
感知机就是一个由两层神经元构成的网络结构，它在输入层接受外界的输入，通过激活函数实施变换，最后把信号传送至输出层，也被称为“阙值逻辑单元”。在有监督的学习规则中，我们需要根据输出与期望值的落差，反复调整神经网络的权值，直至这个落差收敛到能够忍受的范围之内。
感知机可看作一个由超平面划分空间位置的识别器。
感知机的训练
一般的，当我们给定训练数据，神经网络中的参数(权值w和阈值θ )都可以通过不断地“纠偏”学习得到。为了方便，我们通常把阈值θ视为wo,而其输入值x固定为“-1”(亦有资料将这个固定值设置为1,其实都是一样的，主要取决于表达式前面的正负号)，那么阈值θ就可被视为一个“哑元节点”。其公式如下所示：
以上是学习《深度学习之美 AI时代的数据处理与最佳实践》中一到五章及第七章的总结与归纳框架，如有错误 请指出。
参考资料
[1]Deep Learning（深度学习）学习笔记整理系列
[2]感知机（perceptron）
[3]感知器及其训练法则
[4]什么是深度学习