吴恩达机器学习_57线性回归的正则化

对于线性回归,我们已经推导了两种算法:(1)基于梯度下降(2)基于正规方程

 

吴恩达机器学习_57线性回归的正则化_第1张图片

 

 

 (1)将梯度下降法运用到线性回归正则化

常规的梯度下降法(将θ_0分离出来,因为之后对梯度下降法进行修改时会对θ_0区别对待):

吴恩达机器学习_57线性回归的正则化_第2张图片

 

 用正则化对梯度下降法进行修改:

吴恩达机器学习_57线性回归的正则化_第3张图片

 

 每次迭代时,都将θ_j乘以一个比1略小的数,然后进行和之前一样的操作 ,从而达到对代价函数的梯度下降

 

(2)将正规方程法运用到线性回归正则化

吴恩达机器学习_57线性回归的正则化_第4张图片

 

转载于:https://www.cnblogs.com/vzyk/p/11585624.html

你可能感兴趣的:(人工智能,数据结构与算法)