吴恩达机器学习笔记 - cost function and gradient descent

一、简介

cost fuction是用来判断机器预算值和实际值得误差,一般来说训练机器学习的目的就是希望将这个cost function减到最小。本文会介绍如何找到这个最小值。

 

二、线性回归的cost function

假设现在有个一元一次方程式 h(x) = wx + b,要用来预测实际值y, 今天我输入了一组(x0, x1, x2......xm)and(y0, y1, y2, y3.......ym),那cost function = [(h(x0) - y0)**2 +......(h(xm) - ym)**2]/2m

函数的图如下,一元一次方的线性代数cost function图都是碗状的,不会有local minimun的问题。

吴恩达机器学习笔记 - cost function and gradient descent_第1张图片

 

 接着我们就要去改变w和b来找到让cost function J函数最低的值,方法为下

temp0 := w - α∂J(w,b)/∂w

temp1 := b - α∂J(w,b)/∂b

w := temp0

b := temp1

:=就是相当于程式语言里面的=,用右边的值取代左边。α是learning rate,在sklearn和tensorflow都可以配置,代表了学习速度,如下图所示,如果α越大代表优化的速度越快,但有可能会过头造成震荡,速度太慢会导致学习时间过长。正常情况下cost function J 都是一直下降的,如果J一直增加那就代表这边要注意的是α过大,要如何选α值呢?在教学里建议用0.01、0.1、1依序测试,看哪个的结果最好。另外要强调的是,必须要先对w,b两值进行完计算再替换,否则新的w会影响到b的计算。 

 

吴恩达机器学习笔记 - cost function and gradient descent_第2张图片

 

下图以一维图表示系数逼近的过程,当wi > wmin时,J会小于0,wi会不断减少,直到趋近于wmin,当wi < wmin时,J会大于0,wi会不断增加,造成的结果也是会使wi逼近wmin。在逼近的过程,J的斜率会越来越小,所以wi变化的幅度也会逐渐趋于缓和,直到最小值时J=0。

吴恩达机器学习笔记 - cost function and gradient descent_第3张图片

 

三、逻辑回归的cost function

逻辑回归的方程式和线性回归的很不一样,可是有趣的是,最后推导出的公式非常类似。首先先看逻辑回归的公式,当θTx越大,h(x)就越趋近于1,当θTx越小,h(x)就越趋近于0,当θTx = 0的时候h(x)就会等于0.5。

吴恩达机器学习笔记 - cost function and gradient descent_第4张图片

接下来是逻辑回归的cost function,可以看到对于y = 0 和 y = 1有两种不同的结果,所以我们要把他简化

吴恩达机器学习笔记 - cost function and gradient descent_第5张图片

下面为逻辑回归cost function简化后的样子,可以看到当y = 0的时候前面的就会消失,当y = 1的时候后面的就会消失

接着对cost function做微分就会发现跟线性回归的公式是一样的,只是h(x)的公式不同

吴恩达机器学习笔记 - cost function and gradient descent_第6张图片

 

 

最后要说的是,要顺利找到cost function的最小值,必须对输入的系数做缩放,假如今天影响房价的参数有面积(0-5000),房间数(1-5)。显然面积的量太大,对J值得影响力过大,所以需要对所有的数据做调整,理想的学习数据应该是在-1 ~ 1 之间,可以利用(数据 - 平均值) / 间距 来对所有的训练数据做统一量化。

你可能感兴趣的:(吴恩达机器学习笔记 - cost function and gradient descent)