今天学习了第二课，从什么是深度学习，深度学习什么时间段发展起来的，以及深度学习能用来干什么，如今和未来将对我们生活造成怎样的影响？这几个问题了解和学习深度学习的基础知识。
一，从网上还了解了需要使用深度学习解决的问题有以下的特征：
1.深度不足会出现问题
2.大脑有一个深度架构
3.认知过程逐层进行，逐步抽象
二，了解了深度学习的核心思想：对于深度学习来说，其思想就是对堆叠多个层，也就是说这一层的输出作为下一层的输入。
三， 深度学习主要技术
四，深度学习的应用：
图像识别，视觉艺术处理，自然语言处理，基础设施系统的可靠性， 药物发现和毒理学， 客户关系管理，推荐系统，生物信息学，移动广告，图像恢复。
本文主要是结合机器学习课程，以及网络资源了解机器学习。总结的不是太好，希望大家多多指教。
1.2 深度学习(Deep Learning)介绍
1. 深度学习(Deep Learning)
1.1 什么是深度学习？
深度学习是基于机器学习延伸出来的一个新的领域，由以人大脑结构为启发的神经网络算法为起源加之模型结构深度的增加发展，并伴随大数据和计算能力的提高而产生的一系列新的算法。
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
1.2 深度学习什么时间段发展起来的？
深度学习的概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。
1.3 学习能用来干什么？为什么近年来引起如此广泛的关注？
深度学习，作为机器学习中延伸出来的一个领域，被应用在图像处理与计算机视觉，自然语言处理以及语音识别等领域。自2006年至今，学术界和工业界合作在深度学习方面的研究与应用在以上领域取得了突破性的进展。以ImageNet为数据库的经典图像中的物体识别竞赛为例，击败了所有传统算法，取得了前所未有的精确度。
深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务（例如，人脸识别或面部表情识别）。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。
1.4 深度学习目前有哪些代表性的学术机构和公司走在前沿？人才需要如何？
学校以多伦多大学，纽约大学，斯坦福大学为代表，工业界以Google, Facebook, 和百度为代表走在深度学习研究与应用的前沿。Google挖走了Hinton，Facebook挖走了LeCun，百度硅谷的实验室挖走了Andrew Ng，Google去年4月份以超过5亿美金收购了专门研究深度学习的初创公司DeepMind, 深度学习方因技术的发展与人才的稀有造成的人才抢夺战达到了前所未有激烈的程度。诸多的大大小小(如阿里巴巴，雅虎）等公司也都在跟进，开始涉足深度学习领域，深度学习人才需求量会持续快速增长。
1.5深度学习如今和未来将对我们生活造成怎样的影响？
目前我们使用的Android手机中google的语音识别，百度识图，google的图片搜索，都已经使用到了深度学习技术。Facebook在去年名为DeepFace的项目中对人脸识别的准备率第一次接近人类肉眼（97.25% vs 97.5%)。大数据时代，结合深度学习的发展在未来对我们生活的影响无法估量。保守而言，很多目前人类从事的活动都将因为深度学习和相关技术的发展被机器取代，如自动汽车驾驶，无人飞机，以及更加职能的机器人等。深度学习的发展让我们第一次看到并接近人工智能的终极目标。
2. 问题
需要使用深度学习解决的问题有以下的特征：
2.1深度不足会出现问题
在许多情形中深度就足够表示任何一个带有给定目标精度的函数。但是其代价是：图中所需要的节点数(比如计算和参数数量)可能变的非常大。理论结果证实那些事实上所需要的节点数随着输入的大小指数增长的函数族是存在的。
我们可以将深度架构看做一种因子分解。大部分随机选择的函数不能被有效地表示，无论是用深的或者浅的架构。但是许多能够有效地被深度架构表示的却不能被用浅的架构高效表示。一个紧的和深度的表示的存在意味着在潜在的可被表示的函数中存在某种结构。如果不存在任何结构，那将不可能很好地泛化。
2.2大脑有一个深度架构
例如，视觉皮质得到了很好的研究，并显示出一系列的区域，在每一个这种区域中包含一个输入的表示和从一个到另一个的信号流(这里忽略了在一些层次并行路径上的关联，因此更复杂)。这个特征层次的每一层表示在一个不同的抽象层上的输入，并在层次的更上层有着更多的抽象特征，他们根据低层特征定义。
需要注意的是大脑中的表示是在中间紧密分布并且纯局部：他们是稀疏的：1%的神经元是同时活动的。给定大量的神经元，仍然有一个非常高效地(指数级高效)表示。
2.3认知过程逐层进行，逐步抽象
人类层次化地组织思想和概念；
人类首先学习简单的概念，然后用他们去表示更抽象的；
工程师将任务分解成多个抽象层次去处理；
学习/发现这些概念(知识工程由于没有反省而失败？)是很美好的。对语言可表达的概念的反省也建议我们一个稀疏的表示：仅所有可能单词/概念中的一个小的部分是可被应用到一个特别的输入(一个视觉场景)。
3. 基本思想
深度学习的核心思想
假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为： I =>S1=>S2=>…..=>Sn => O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失，设处理a信息得到b，再对b处理得到c，那么可以证明：a和c的互信息不会超过a和b的互信息。这表明信息处理不会增加信息，大部分处理会丢失信息。保持了不变，这意味着输入I经过每一层Si都没有任何的信息损失，即在任何一层Si，它都是原有信息（即输入I）的另外一种表示。现在回到主题Deep Learning，需要自动地学习特征，假设我们有一堆输入I（如一堆图像或者文本），假设设计了一个系统S（有n层），通过调整系统中参数，使得它的输出仍然是输入I，那么就可以自动地获取得到输入I的一系列层次特征，即S1，…, Sn。
对于深度学习来说，其思想就是对堆叠多个层，也就是说这一层的输出作为下一层的输入。通过这种方式，就可以实现对输入信息进行分级表达了。
另外，前面是假设输出严格地等于输入，这个限制太严格，可以略微地放松这个限制，例如只要使得输入与输出的差别尽可能地小即可，这个放松会导致另外一类不同的Deep Learning方法。上述就是Deep Learning的基本思想。
把学习结构看作一个网络，则深度学习的核心思路如下：
①无监督学习用于每一层网络的pre-train；
②每次用无监督学习只训练一层，将其训练结果作为其高一层的输入；
③用自顶而下的监督算法去调整所有层
4. 主要技术
线性代数、概率和信息论，欠拟合、过拟合、正则化，最大似然估计和贝叶斯统计，随机梯度下降，监督学习和无监督学习，深度前馈网络、代价函数和反向传播，正则化、稀疏编码和dropout，自适应学习算法，卷积神经网络，循环神经网络，递归神经网络，深度神经网络和深度堆叠网络，LSTM长短时记忆，主成分分析，正则自动编码器，表征学习，蒙特卡洛，受限波兹曼机，深度置信网络，softmax回归、决策树和聚类算法，KNN和SVM，生成对抗网络和有向生成网络，机器视觉和图像识别，自然语言处理，语音识别和机器翻译，有限马尔科夫，动态规划，梯度策略算法，增强学习（Q-learning）
5. 深度学习的应用：
5.1 图像识别
主要文章：计算机视觉
MNIST数据库数据集是用于图像分类的通用评估集。MNIST由手写数字组成，包含60,000个训练样例和10,000个测试例子。与TIMIT一样，它的小尺寸允许用户测试多种配置。可以获得关于这一套结果的完整列表。[121]
基于深度学习的图像识别已经变得“超人”，产生比人类参赛者更准确的结果。这第一次发生在2011年。[122]
深度学习训练的车辆现在可以解读360°摄像头视图。[123]另一个例子是用于分析连接到一个大数据库遗传综合征的人畸形的情况下，面部畸形学新型分析（FDNA）。
5.2 视觉艺术处理
与图像识别所取得的进展密切相关的是深度学习技术在各种视觉艺术任务中的应用越来越多。例如，DNN已经证明自己有能力：a）识别给定绘画的风格时期，b）“捕捉”给定绘画的风格，并以视觉愉悦的方式将其应用于任意照片，以及c）产生醒目基于随机视觉输入域的图像。[124] [125]
5.3 自然语言处理
主要文章：自然语言处理
自21世纪初以来，神经网络一直用于实现语言模型。[99] [126] LSTM有助于提高机器翻译和语言模型。[100] [101] [102]
该领域的其他关键技术是负面采样[127]和字嵌入。诸如word2vec之类的词嵌入可以被认为是深度学习体系结构中的表示层，其将原子词转换成相对于数据集中其他词的位置表示; 该位置被表示为向量空间中的点。使用词嵌入作为RNN输入层允许网络使用有效的组合向量语法来分析句子和短语。组合向量语法可以被认为是由RNN实现的概率上下文无关语法（PCFG）。[128]构建在词嵌入之上的递归自动编码器可以评估句子相似性并检测释义。[128]深层神经架构提供了最好的结果选区分析，[129] 情感分析，[130]信息检索，[131] [132]口语理解，[133]的机器翻译，[100] [134]的上下文实体链接，[134]写作风格识别[135]等。[136]
谷歌翻译（GT）使用一个大型的端到端长期短期记忆网络。[137] [138] [139] [140] [141] [142] GNMT使用一个基于实例的机器翻译，其中该系统的方法“从数百万的实例得知。” [138]它翻译“整个句子的时间，而不是件。谷歌翻译支持超过一百种语言。[138]的网络编码‘的句子的语义，而不是简单地背诵短语对短语的翻译。’ [138 ] [143] GT使用英语作为最语言对之间的中间。[143]
5.4 基础设施系统的可靠性
自然灾害会对基础设施系统的功能造成灾难性影响，并造成严重的物质和社会经济损失。鉴于预算限制，优化有关这些系统的缓解，准备，响应和恢复实践的决策至关重要。这需要准确有效的手段来评估基础设施系统的可靠性。深度神经网络已被用于精确，高效和加速的基础设施系统可靠性分析。[144] [145]
5.5 药物发现和毒理学
欲了解更多信息，请参阅药物发现和毒理学。
大部分候选药物未能赢得监管部门的批准。这些失败是由效力不足（目标效应），不希望的相互作用（脱靶效应）或意料之外的毒性效应造成的。[146] [147]的研究已经探索使用深度学习的预测生物分子目标，[83] [84]的脱靶和在营养物，家用产品和药品的环境化学物质的毒性作用。[85] [86] [87]
AtomNet是基于结构的合理药物设计的深度学习系统。[148]被用于AtomNet来预测疾病目标，如新颖的候选生物分子埃博拉病毒[149]和多发性硬化。[150] [151]
5.6 客户关系管理
主要文章：客户关系管理
深度强化学习被用来估计可能的直接营销行为的价值，这些行为是根据RFM变量定义的。显示估计价值函数具有客户生命周期价值的自然解释。[152]
5.7 推荐系统
主要文章：推荐系统
推荐系统使用深度学习为基于内容的音乐推荐的潜在因子模型提取有意义的特征。[153]多视点深度学习已经申请了来自多个域的学习用户偏好。[154]该模型使用一种混合的协作和基于内容的方法和提高在多个任务的建议。
5.8 生物信息学
主要文章：生物信息学
自动编码器 ANN被用于生物信息学，以预测基因本体注释和基因功能关系。[155]
在医学信息学中，根据可穿戴设备的数据[156] [157]和电子健康记录数据对健康并发症的预测，深度学习被用于预测睡眠质量。[158]深学习也表现出疗效保健。[159] [160]
5.9 移动广告
为移动广告寻找合适的移动受众群体始终具有挑战性，因为在创建目标细分受众群并将其用于任何广告服务器投放广告之前，必须考虑并同化许多数据点。[161] [162]深学习已被用来解释大，很多尺寸的广告数据集。许多数据点在请求/服务/点击互联网广告周期中收集。这些信息可以构成机器学习的基础，以改善广告选择。
5.10 图像恢复
深度学习已成功应用于逆向问题，如去噪，超分辨率和修补。这些应用程序包括学习方法，例如在图像数据集上进行训练的“用于有效图像恢复的缩小场” [163]以及在需要恢复的图像上进行训练的Deep Image Prior。
[1] 麦子学院“机器学习基础介绍”视频之深度学习介绍 http://www.maiziedu.com/course/373-3813/
[2] 百度百科“深度学习” https://baike.baidu.com/item/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/3729729
[3]维基百科“深度学习” https://en.wikipedia.org/wiki/Deep_learning
本博文是博主个人学习时的一些记录，不保证是为原创，文章加入了转载的源地址还有个别文章是汇总网上多份资料所成，在这之中也必有疏漏未加标注者，如有侵权请与博主联系。