李宏毅机器学习

目录

一、机器学习简介

1、机器学习流程

2、机器学习相关技术

二、回归

四、误差

4.1 偏差与方差

4.2 过拟合与欠拟合

4.3 交叉验证

4.4 N 折交叉验证

5. 梯度下降

5.1 调整学习速率

5.2 随机梯度下降

 5.3 特征缩放

6 深度学习

6.1 神经网络

 6.2 全连接前馈神经网络

 6.3 神经网络本质

7 神经网络的训练

7.1 局部最小点与鞍点

7.1.1 如何判断

7.1.2 在鞍点确定参数更新方向

7.2 批次(Batch)和动量(Momentum)

7.2.1 Batch

 7.2.2 Momentum

 7.3自动调整学习速率(Learning Rate)

7.3.1 问题

7.3.2 求取σ的方式:Root Mean Square

7.3.3 RMSProp:调整“当前步”梯度与“历史”梯度的重要性

7.3.4 Learning Rate Scheduling:让LearningRate 与 “训练时间”有关

7.3.5 总结

7.4 分类(Classification)

 7.4.1 Loss of Classifacation

7.5 批次标准化(Batch Normalization)

7.5.1 问题

7.5.2 解决方案:Feature Normalization(归一化)

 7.5.3 Batch Normalization

7.5.4 还原

7.5.5 Testing

8 CNN

8.1 why cnn for image?

8.1.1 Small Region

8.1.2 Same Patterns

8.1.3 Subsampling(下采样)

 8.2 CNN-Convolution

8.2.1 Propetry 1

8.2.2 Propetry 2

8.3 CNN-Colorful Image

 8.4 Convolution v.s Fully Connected

8.5CNN-Max Pooling

8.6 CNN-Flatten

8.7 CNN in Keras



一、机器学习简介

1、机器学习流程

李宏毅机器学习_第1张图片

 李宏毅机器学习_第2张图片

左边的部分叫training,是学习的过程;右边的部分叫做testing,学好以后可以拿它做应用。在整个machine learning framework整个过程分成了三个步骤。第一个步骤就是找一个function,第二个步骤让machine可以衡量一个function是好还是不好,第三个步骤是让machine有一个自动的方法,有一个好演算法可以挑出最好的function。

2、机器学习相关技术

李宏毅机器学习_第3张图片

 回归与分类:Regression和Classification的差别就是我们要机器输出的东西的类型是不一样。在Regression中机器输出的是一个数值,在Classification里面机器输出的是类别。假设Classification问题分成两种,一种叫做二分类输出的是是或否;另一类叫做多分类,在Multi-class中是让机器做一个选择题,等于是给他数个选项,每个选项都是一个类别,让他从数个类别里选择正确的类别。

监督学习:监督学习的问题是我们需要大量的training data。training data告诉我们要找的function的input和output之间的关系。如果我们在监督学习下进行学习,我们需要告诉机器function的input和output是什么。这个output往往没有办法用很自然的方式取得,需要人工的力量把它标注出来,这些function的output叫做label。

半监督学习:少量的labelled data,但是又有大量的Unlabeled data。

迁移学习:只有少量的有label的data。但是我们现在有大量的data,这些大量的data中可能有label也可能没有label。但是他跟我们现在要考虑的问题是没有什么特别的关系的。

无监督学习:完全没有任何labe

结构化学习:structured learning 中让机器输出的是要有结构性的,举例来说:在语音辨识里面,机器输入是声音讯号,输出是一个句子。句子是要很多词汇拼凑完成。它是一个有结构性的object。

强化学习:在reinforcement learning里面,我们没有告诉机器正确的答案是什么,机器所拥有的只有一个分数,就是他做的好还是不好。

二、回归

定义:找到一个函数,通过输入特征,输出一个数值。

模型步骤:模型假设、模型评估、模型优化

四、误差

4.1 偏差与方差

误差来源:偏差(Bias)、方差(Variance)

偏差  

方差 

 李宏毅机器学习_第4张图片

不同模型的方差:一次模型的方差就比较小的,也就是比较集中,离散程度较小。而5次模型的方差就比较大。所以用比较简单的模型,方差是比较小的(就像射击的时候每次的时候,每次射击的设置都集中在一个比较小的区域内)。这也是因为简单的模型受到不同训练集的影响是比较小的。

不同模型的偏差:简单的模型函数集的space比较小,所以可能space里面就没有包含靶心,肯定射不中。而复杂的模型函数集的space比较大,可能就包含的靶心,只是没有办法找到确切的靶心在哪,但足够多的,就可能得到真正的 f¯。

偏差与方差:将误差拆分为偏差和方差。简单模型(左边)是偏差比较大造成的误差,这种情况叫做欠拟合,而复杂模型(右边)是方差过大造成的误差,这种情况叫做过拟合

李宏毅机器学习_第5张图片

4.2 过拟合与欠拟合

      如果模型没有很好的训练训练集,就是偏差过大,也就是欠拟合。如果模型很好的训练训练集,即在训练集上得到很小的错误,但在测试集上得到大的错误,这意味着模型可能是方差比较大,就是过拟合。

欠拟合处理方法:重新设计模型

过拟合处理方法:更多的数据

4.3 交叉验证

  李宏毅机器学习_第6张图片

       交叉验证就是将训练集再分为两部分,一部分作为训练集,一部分作为验证集。用训练集训练模型,然后再验证集上比较,确实出最好的模型之后(比如模型3),再用全部的训练集训练模型3,然后再用public的测试集进行测试,此时一般得到的错误都是大一些的。不过此时会比较想再回去调一下参数,调整模型,让在public的测试集上更好,但不太推荐这样。

4.4 N 折交叉验证

将训练集分成N份

李宏毅机器学习_第7张图片

 比如在三份中训练结果Avg Err是模型1最好,再用全部训练集训练模型1。

5. 梯度下降

5.1 调整学习速率

Adagrad算法:每个参数的学习率都把它除上之前微分的均方根。

普通的梯度下降                                                Adagrad:σt :之前参数的所有微分的均方根,对                                                                                            于每个参数都是不一样的。

李宏毅机器学习_第8张图片李宏毅机器学习_第9张图片

                                                                                

 将 Adagrad 的式子进行化简

 李宏毅机器学习_第10张图片

最好的步伐应该是:

          

对于 就是希望再尽可能不增加过多运算的情况下模拟二次微分

5.2 随机梯度下降

普通梯度下降:

李宏毅机器学习_第11张图片

 随机梯度下降:

李宏毅机器学习_第12张图片

随机梯度下降法更快,损失函数不需要处理训练集所有的数据。此时不需要像之前那样对所有的数据进行处理,只需要计算某一个例子的损失函数Ln,就可以update 梯度。

 5.3 特征缩放

李宏毅机器学习_第13张图片

坐标系中是两个参数的error surface(现在考虑左边蓝色),因为 w1​ 对 y 的变化影响比较小,所以 w1​ 对损失函数的影响比较小,w1​ 对损失函数有比较小的微分,所以 w1​ 方向上是比较平滑的。同理 x2​ 对 y 的影响比较大,所以x2​ 对损失函数的影响比较大,所以在x2​ 方向有比较尖的峡谷。

上图右边是两个参数scaling比较接近,右边的绿色图就比较接近圆形。

对于左边的情况,上面讲过这种狭长的情形不过不用Adagrad的话是比较难处理的,两个方向上需要不同的学习率,同一组学习率会搞不定它。而右边情形更新参数就会变得比较容易。左边的梯度下降并不是向着最低点方向走的,而是顺着等高线切线法线方向走的。但绿色就可以向着圆心(最低点)走,这样做参数更新也是比较有效率。

 李宏毅机器学习_第14张图片

上图每一列都是一个例子,里面都有一组特征。

对每一个维度 i(绿色框)都计算平均数,记做 mi​;还要计算标准差,记做 σi​。

然后用第 rr个例子中的第 i个输入,减掉平均数 mi​,然后除以标准差 σi​,得到的结果是所有的维数都是 0,所有的方差都是 1

6 深度学习

三个步骤:神经网络、模型评估、选择最优函数

6.1 神经网络

李宏毅机器学习_第15张图片

      神经网络可以有很多不同的连接方式,这样就会产生不同的结构(structure)。在这个神经网络里面,我们有很多逻辑回归函数,其中每个逻辑回归都有自己的权重和自己的偏差,这些权重和偏差就是参数。

      如果一个神经网络的权重和偏差已知,就可以看成一个函数,输入是一个向量,对应的输出也是一个向量。不论是做回归模型(linear model)还是逻辑回归(logistics regression)都是定义了一个函数集(function set)。我们可以给上面结构的参数设置为不同的数,就是不同的函数。这些可能的函数结合起来就是一个函数集。这时的函数集比较大,是以前的回归模型等没有办法包含的函数,所以说深度学习能表达出以前所不能表达的情况。

 6.2 全连接前馈神经网络

输入层(Input Layer):1层

隐藏层(Hidden Layer):N层

输出层(Output Layer):1层

因为layer1与layer2之间两两都有连接,所以叫做Fully Connect,因为现在传递的方向是由后往前传,所以叫做Feedforward。

李宏毅机器学习_第16张图片

 6.3 神经网络本质

通过隐藏层进行特征转换:把隐藏层通过特征提取来替代原来的特征工程,这样在最后一个隐藏层输出的就是一组新的特征(相当于黑箱操作)。而对于输出层,其实是把前面的隐藏层的输出当做输入(经过特征提取得到的一组最好的特征)然后通过一个多分类器(可以是softmax函数)得到最后的输出y。

李宏毅机器学习_第17张图片

7 神经网络的训练

Optimization的时候,怎么把gradient descent做得更好。

7.1 局部最小点与鞍点

      做Optimization时,随着参数不断更新,训练的loss不会再下降,是因为这时的参数对loss的微分为0。可能是因为卡在了局部最小点或鞍点。

7.1.1 如何判断

考察θ附近Loss的梯度→泰勒展开→海森矩阵

李宏毅机器学习_第18张图片

第一项中,当θ跟θ'很接近的时候,L(θ)和L(θ')很接近

第二项中,g代表梯度(一阶导数),可以弥补L(θ)与L(θ')之间的差距

第三项中,H表示海塞矩阵,是L的二阶导数

在Critical point附近时,第二项为0,根据第三项来判断→只需考察H的特征值

如果所有eigen value都是正的,H是positive definite (正定矩阵),此时就是local minima;所有eigen value都是负的,H是negative definite,此时是local maxima;如果eigen value有正有负,那就代表是saddle point。

7.1.2 在鞍点确定参数更新方向

李宏毅机器学习_第19张图片

      令特征值小于0,得到对应的特征向量u,在θ的位置加上u,沿著u的方向做update得到θ,就可以让loss变小。

注:Local Minima比Saddle Point少的多。

7.2 批次(Batch)和动量(Momentum)

7.2.1 Batch

      在 Update 参数的时候,用B项样本数据出来算Loss和Gradient。所有的 Batch 看过一遍,叫做一个 Epoch。每个epoch开始前往往会重新分一次batch,每一个 Epoch 的 Batch 都不一样。

李宏毅机器学习_第20张图片

 Small Batch v.s. Large Batch

考虑并行计算,大的BatchSize并不一定时间比较长。

因为有平行运算的能力,因此实际上,当Batch Size 小的时候,要跑完一个 Epoch,花的时间比大的 Batch Size 还要多的;反之,大的 Batch Size下,跑完一个Epoch花的时间反而是比较少的⇒Batch Size小时,Update的次数大大增加。

使用较小的BatchSize,在更新参数时会有Noisy⇒有利于训练。

使用较小的BatchSize,可以避免Overfitting⇒有利于测试(Testing)。

李宏毅机器学习_第21张图片

 7.2.2 Momentum

Momentum是另外一个有可能可以对抗 Saddle Point 或 Local Minima 的技术。

李宏毅机器学习_第22张图片

李宏毅机器学习_第23张图片

一般的梯度下降,只考虑梯度的方向,向反方向移动

考虑动量的梯度下降:综合考虑梯度和前一步的方向

李宏毅机器学习_第24张图片

 7.3自动调整学习速率(Learning Rate)

7.3.1 问题

1、 Training stuck ≠ Small Gradient:Loss不再下降时,未必说明此时到达Critical Point,梯度可能还很大。李宏毅机器学习_第25张图片

2、 如果使用“固定的”学习率,即使是在“凸面体”的优化,都会让优化的过程非常困难⇒客制化“学习率”⇒不同的参数(大小)需要不同的学习率

较大的学习率:Loss在山谷的两端震荡而不会下降

较小的学习率:梯度较小时几乎难以移动

李宏毅机器学习_第26张图片

 客制化“梯度”⇒不同的参数(大小)需要不同的学习率

 李宏毅机器学习_第27张图片

根据参数此时的实际情况,调整σ的大小,实现对参数θ的更新。

基本原则:

某一个方向上gradient的值很小,非常的平坦⇒learning rate调大一点;某一个方向上非常的陡峭,坡度很大⇒learning rate可以设得小一点

7.3.2 求取σ的方式:Root Mean Square

Adagrad(考虑之前所有梯度的大小):对本次及之前计算出的所有梯度求均方根。

李宏毅机器学习_第28张图片

 李宏毅机器学习_第29张图片

gradient都比较大,σ就比较大,在update的时候 参数update的量就比较小。

缺陷:不能“实时”考虑梯度的变化情况

7.3.3 RMSProp:调整“当前步”梯度与“历史”梯度的重要性

李宏毅机器学习_第30张图片

添加参数α,越大说明过去的梯度信息更重要

最常用的策略:Adam=RMSProp + Momentum

7.3.4 Learning Rate Scheduling:让LearningRate 与 “训练时间”有关

Learning Rate Scheduling:随著时间的不断地进行,随著参数不断的update,η越来越小

Warm Up:让learning rate先变大后变小

李宏毅机器学习_第31张图片

解释:σ指示某一个方向它到底有多陡/多平滑,这个统计的结果要足够多的数据才精准,一开始我们的统计是不精确的。所有一开始learning rate比较小,是让它探索收集一些有关error surface的情报,在这一阶段使用较小的learning rate,限制参数不会走的离初始的地方太远;等到σ统计得比较精准以后再让learning rate慢慢爬升。

7.3.5 总结

李宏毅机器学习_第32张图片

使用动量,考虑过去的梯度“正负”与“方向” 

引入σ,考虑过去梯度的“大小”(RMS)

使用LearningRate Schedule

7.4 分类(Classification)

Class as one-hot vector

李宏毅机器学习_第33张图片

任何两个分类的距离都相同。

李宏毅机器学习_第34张图片

李宏毅机器学习_第35张图片

 使用Softmax先把它们Normalize到0到1之间,这样才好跟 label 的计算相似度。

李宏毅机器学习_第36张图片

 7.4.1 Loss of Classifacation

李宏毅机器学习_第37张图片

 Cross-entropy比MSE更加适用于分类问题

7.5 批次标准化(Batch Normalization)

将Error Surface 铲平

李宏毅机器学习_第38张图片

7.5.1 问题

不同的参数发生变化,引起“损失函数”变化的程度不同⇒受“不同维度输入值的差异”的影响

李宏毅机器学习_第39张图片

  • x1的值很小时,当参数w1有一个很小的变化,对y的影响很小,从而对Loss的影响也比较小。
  • 反之,x2的值很大时,当参数w2有一个同样大小的变化,对y的影响则大得多,从而对Loss的影响也比较大。

      因而,不同维度的输入值,大小的Scale差距很大,就可能产生在不同方向上,斜率、坡度非常不同的 error surface。

7.5.2 解决方案:Feature Normalization(归一化)

对不同数据样本向量的同一维进行归一化

李宏毅机器学习_第40张图片

      做完 normalize 以后,这个 dimension 上面的数值就会平均是 0,然后它的 variance就会是 1,所以这一排数值的分布就都会在 0 上下;对每一个 dimension都做一样的 normalization,就会发现所有 feature 不同 dimension 的数值都在 0 上下,就制造出一个比较好的 error surface。

     在深度学习中,每一层都需要一次Normalization。

     \tilde{x}经过W1矩阵后,a 和 z数值的分布各维度仍然有很大的差异,要 train 第二层的参数W2也会有困难。需要对a或者z进行Normalization。如果选择的是 Sigmoid,比较推荐对 z 做 Feature Normalization,因为 Sigmoid 在 0 附近斜率比较大,如果对 z 做 Feature Normalization,把所有的值都挪到 0 附近,算 gradient 的时候,算出来的值会比较大。一般而言, normalization,要放在 activation function 之前或之后都是可以的。   

李宏毅机器学习_第41张图片

步骤:

  1. 对向量的对应element做求平均、标准差的运算,求得向量μ,σ
  2. 对每个向z,利用μ,σ对对应element进行归一化,得到\tilde{z}
  3. 继续后续的步骤

 李宏毅机器学习_第42张图片

 7.5.3 Batch Normalization

      实际上做Normalization时,只能考虑有限数量的数据⇒考虑一个Batch内的数据⇒近似整个数据集。

      Batch Normalization适用于batch size 比较大时。其中data可以认为足以表示整个 corpus 的分布;从而,将对整个 corpus做 Feature Normalization 这件事情,改成只在一个 batch中做 Feature Normalization作为近似。

7.5.4 还原

引入向量γ,β,将原本被归一化到m=0,σ=1的各维度数据恢复到某一分布。

      做 normalization 以后\tilde{z}平均就一定是 0,可以视作是给 network 一些限制,也许这个限制会带来一些负面的影响,因而进行恢复操作,让模型自己学习γ,β。 

      训练时,初始将γ设为全为1的向量,β设为全为0的向量。在一开始训练的时候,让每一个 dimension 的分布比较接近。训练够长的一段时间,已经找到一个比较好的 error surface,走到一个比较好的地方以后,那再把γ,β 慢慢地加进去。

7.5.5 Testing

Testing 时没有Batch进行归一化⇒训练时会找到

李宏毅机器学习_第43张图片

      在testing阶段,没有一个batch的数据,进行归一化。所以在 training 的时候,每一个 batch 计算出来的μ,σ ,都会拿出来算 moving average。

8 CNN

8.1 why cnn for image?

      每一个neural代表一个最基本的分类器,使用全连接网络的话,100x100的彩色图片,拉成向量是100×100×3个像素,input vector假如是30000 dimension,hidden layer假设是1000个neural,那么这个hidden layer的参数就是有30000 *1000。

      CNN的作用就是简化这个神经网络的结构,去掉一些用不到的weight。事实上,把原来全连接网络中的layer里的一些参数去掉就得到CNN。

8.1.1 Small Region

      对于整张图来说,一些pattern是很小的。一个neural要指导一个图片里有没有一个pattern出现,并不需要取观察整张图片,而是只需要观察图片小部分即可。

      所以,一个neural只需要连接到一个小块的区域就好,不需要连接到整张图。

      所以,我们才可以用比较少的参数来做影像处理。

李宏毅机器学习_第44张图片

8.1.2 Same Patterns

相同的pattern会出现在图像的不同部分,但代表同样的含义。它们有同样的形状,可以用同样的neural,同样的参数就可以把patter侦测出来。

下图中,由于侦测鸟嘴的事情是相同的,所以可以共用一套参数,减少用到的参数的量。

李宏毅机器学习_第45张图片

8.1.3 Subsampling(下采样)

对像素进行下采样不会影响人对图片的理解。

例如:去除奇数行偶数列的像素之后,图片大小变成了之前的十分之一大小,不会影响人对这个图片的理解。

所以我们可以把图片变小,用更少的参数来处理图片。

李宏毅机器学习_第46张图片

 8.2 CNN-Convolution

李宏毅机器学习_第47张图片

李宏毅机器学习_第48张图片

 前面的两个property可以用convolution来处理掉,最后的property可以用Max Pooling。

8.2.1 Propetry 1

李宏毅机器学习_第49张图片

每个filter中的值都是从训练数据中学出来的,而不是人为设计的。

每个filter如果是3* 3的detects,意味着它侦测一个3 *3的pattern(看3 *3的一个范围)。在侦测pattern的时候不看整张image,只看一个3 *3的范围内就可以决定有没有某一个pattern的出现。这个就是我们考虑的第一个Property。

将filter放在左上角,将image和filter做内积,并且不断按照stride步长移动,不断计算,直到移动到右下角。

8.2.2 Propetry 2

李宏毅机器学习_第50张图片

 filter斜对角都是1,1,1,作用就是检测数据中有没有1,1,1。不论是左上角还是右下角,只要用一个filter即可检测出来,体现property2。

李宏毅机器学习_第51张图片

用另外一个filter得到蓝色的矩阵,红色和蓝色的矩阵结合起来,叫做feature map,有几个filter就会有多少个image。

8.3 CNN-Colorful Image

彩色图片,分成好几个矩阵叠加在一起,是一个立方体,处理彩色图片的filter也得是立方体。

卷积的值大意味着和patten相似。 

李宏毅机器学习_第52张图片

 8.4 Convolution v.s Fully Connected

Convolution 其实是Fully Connected layer拿掉一些weight 的结果

李宏毅机器学习_第53张图片

 李宏毅机器学习_第54张图片

 如图,一个neutral的weight只连接到1,2,3,7,8,9,13,14,15,其他的weight都没有。而这几个weight恰好就是filter里的参数。

李宏毅机器学习_第55张图片

在fully connect里面这两个neural本来是有自己的weight。当在做convolution时,首先把每一个neural连接的wight减少,强迫这两个neural共用一个weight,这件事就叫做shared weight。使得参数比原来的更少。

8.5CNN-Max Pooling

李宏毅机器学习_第56张图片

 李宏毅机器学习_第57张图片

 李宏毅机器学习_第58张图片

重复多次,可以得到一个新image,这个新的image比原来的小。

李宏毅机器学习_第59张图片

假设第一层filter有2个,在考虑第二层filter的input时是会考虑深度的,并不是每个channel分开考虑,而是一次考虑所有的channel。所以convolution有多少个filter,output就有多少个filter(convolution有25个filter,output就有25个filter。只不过,这25个filter都是一个立方体)。

8.6 CNN-Flatten

 flatten就是feature map拉直,拉直之后就可以丢到fully connected feedforward netwwork。

8.7 CNN in Keras

李宏毅机器学习_第60张图片

model.add(Convolution2D( 25, 3, 3):25代表有25个filter,3 *3代表filter是一个3 *3的matrix

Input_shape=(28,28,1):input是28 *28的image,每个pixel都是单一颜色。如果是黑白图为1(blacj/white),如果是彩色的图时为3(每个pixel用三个值来表述)。

MaxPooling2D(( 2, 2 )):2,2表示把2*2的feature map里面的pixel拿出来,选择max value

李宏毅机器学习_第61张图片

 李宏毅机器学习_第62张图片

你可能感兴趣的:(机器学习,人工智能)