李宏毅深度学习笔记 ---- 简介

概述

简单来说，深度学习的目的在与找到一个函数，并且该函数能帮助我们完成一些任务。至于是怎么样的一个数学函数，可能目前没人能够给出十分准确的解释，也没有人能够写出类似的复杂的数学函数。

大致类别

回归

回归的目的，在于能够利用输入的数据和函数，来输出一个数值，整个流程可以用下图为例。

我们可以这样理解上图所表达的意思：有一个函数F，它能够根据输入的今天和昨天的PM2.5的值，来推断得到一个明天PM2.5的值。

二分类

顾名思义，二分类的目的，是将某种输入的数据分为两种类别，最常见的二分类别就是好和坏，对与错。整个流程可以以下图为例子。

上图中以输入是句子为例，即将句子作为输入送给函数F，函数F能够推断出这个句子是正向情感还是负向情感。

多分类

从二分类可以想到，二分类是多分类的特殊情况。多分类的一个指导思想是，输入某种东西，函数F能够推断出该东西是那种类别。值得注意的是，这个类别可能会有很多种作为参考选项。

上图可以看到，当输入一张图像给函数F时，函数F会给出它人为可能当选项。

生成

除了回归和分类，生成也是极为重要的一个类别。生成类的深度学习，就像人类中的艺术和工程设计师，它们能够利用先用的数据，生成出令人叹为观止的新的数据。

具体方式

对于深度学习而已，有很多训练网络的方式。

监督学习

最常见的也是发展较为成熟的，就是监督学习。简单来说，就是利用函数F推断得到的数据与原有的真实数据比较，再使用比较后得到的误差来更新函数F。在这种方式中，有一个较为明显的缺点，就是训练数据的标注较为的繁琐，且不规范进行标注的数据有可能极大的影响函数F的训练过程。

增强学习

其实大家可能都在新闻中看到过强化学习的应用场景，即会下围棋的Alpha Go，这个及其所使用的技术包含了强化学习。强化学习的好处在于，能够用过大量的训练后，及其会自动找到最好的函数F，而不受困与我们人类代码中的限制。

无监督学习

无监督学习的一个出名案例就GAN及其衍生的系列。这些算法虽然用到了大量的数据，但是这些数据不需要经过人为的标签，就可以输入到网络当中，网络在根据网络内部的实现细节，无需使用到具有正确标签的数据，也能够完成生成数据的任务。

前沿研究

异常检测

可能在工业生产中，某人要使用你的算法去处理一下数据，但是你在训练你的网络中没有与该数据类似的训练即，因此，应该在输入数据是从未见过，及其应该返回不知道来回答问题。

迁移学习

领域对抗学习

我们先来看个图。

迁移学习或者叫做领域对抗学习，目的在于，当测试当数据与训练当数据不太一样时，网络依旧能够给出令人满意当结果。

元学习

在上述介绍当方法当中，它们的模式都是，设计一个学习算法，让机器去学习。而元学习呢，它的模式是，设计一个算法，让那个算法去自动设计一个学习算法，让机器去学习。有点拗口，可以看下图。

终身学习

现在大多数的学习任务，都是较为单一的。复杂一点的呢，可能可以同时解决两三个问题。如果要解决新的问题，就需要设计一个模型，定下一个损失函数。但是我们可以设想一下，我们人的大脑就类似与一个模型，但是每个人的大脑从小到大都是同一个，没有去医院更换过。那我们有没有一种方法，让网络也像大脑一样，可以不断的学习，不断的适应，不断的解决新的任务。这就算终身学习需要解决的问题。

后话

李老师的课程内容很丰富，作业也很有趣，接下来的这段时间，我们将会一起学习，一起进步