李宏毅深度学习笔记1 - 深度学习入门

在谈到深度学习之前，我们都会提机器学习，因为深度学习是机器学习的一个分支。那么什么时机器学习呢？
简单来说机器学习是一种算法，是一种通过数据来解决问题的方法。解决什么问题？最常用的有两类问题：

• 分类： 通过病人的病理报告等数据判断是否患病
• 回归： 通过历史交易数据判断期货行情走势
  机器学习和深度学习都是通过大量的（历史）数据来寻找一个模型，或者叫函数，或者映射也可以，他可以完成从问题到答案的推理过程。而判断这个模型的好坏就是这个答案靠不靠谱。

两者的共同点都是通过数据来进行学习，可以这么说，深度学习是目前为止最接近人工智能的途径。深度学习通过神经网络来学习数据中暗含的规律进而来预测或者分类。

机器学习和深度学习的不同之处：
传统的机器学习如随机森林、SVM、等都是和统计学相关。使用数理统计的方法来建立模型。通常情况为了获得比较好的模型精度，需要人工设计大量的特征（基于基本的统计原理）来让模型更好的去逼近实际情况。而深度学习通过人工设计的神经网络来捕获数据中的规律，不在需要去设计复杂的特征了。
从传统的机器学习到深度学习，算法工程师的工作重点从设计特征过渡到了设计网络结构，例如什么样的网络结构适合从图像中提取特征，什么样的网络结构适合识别语音等。
同时，从从传统的机器学习到深度学习，人们研究的对象也从基本的数值型数据扩展到了维度更高的张量（例如图像、语音等）。可以这么正式图像领域的大量新的应用（如人脸识别，瑕疵检测等）推动了深度学习的发展。深度学习技术也因为在这些领域获得了远超传统技术的成绩，让越来越的科学家和工程师参与，让深度学习成为当今AI的代名词。

深度学习解决问题的一般步骤：
对于任何一个深度学习模型，我们都可以从三个方面来进行解剖，即：

• 1. 模型（Model）
     机器学习问题通常都要都要转化为一个数学模型来求解。模型是从数据里抽象出来的。在进行数据分析时，我们通常手上只有数据，从数据中抽取的规律就是模型。一般情况，该模型表达了从特征到标签（数值）的映射关系。给定一个输入，经过模型后就可以得到一个输出。模型可以是确定性的，也可以是随机的，无所谓，总之用数学可以描述，只要数学可以描述的，就可以进行预测分析。从这点上来说，机器学习，就是让机器通过数据产生模型。

• 2. 策略（Strategy）
     知道了模型的概念，那么如何通过数据来构造模型呢? 如何构造就是我们所谓的策略。
     不同的策略，对应不同的模型的比较标准和选择标准。就跟选班干部一样，选帅的，好，那就让吴彦祖当班长，选逗比的，也许选出来的就是王宝强，选会唱歌的，没准是周杰伦…好，所以最终确定的模型是什么，实际上就跟两件事儿有关：
  • 我们拿到的数据是什么？
  • 我们选择模型的策略是什么？

说道策略，一般会讲到，经验风险最小化作为常用的标准。经验风险最小是指，用这个模型，套到已有的观测数据上，基本上是靠谱的。这也是大多数时候我们在机器学习时候有意或无意就用到的准侧。经验风险最小化是一个参数优化的过程，我们需要构造一个损失函数来描述经验风险，损失函数可以理解为我们预测一个数据错了给我们带来的代价。每个人对损失函数的定义都不同，所以优化出来的结果也不同，这也导致最终我们学习到的模型会各种各样，解决一个问题的方案有多种多样…

• 3 算法（Algorithm）

我们通过策略实现模型的方法就是算法
我们有了数据，有了学习模型的策略，然后就要开始去构造模型了，如果模型的基本形式有了，就是一个优化模型参数的问题了。如果学习过确定性模型的朋友，优化并不陌生，但是优化过程往往是复杂的，面对复杂的数学优化问题我们通常难以通过简单的求导获得最终的结果，所以就要构造一系列的算法。

这三个套路在所有的深度学习项目中都是成立，可以完全套用。