CS229之线性回归

ok,这次打算重新刷一遍cs229,也强迫自己做个记录吧,一直都挺佩服那些能把技术文章写得通俗易懂的大神们....

从第二章线性代数开始吧。

目录:

1. 模型的描述和代价函数

2. 梯度下降

3. 线性模型的梯度下降


1. 模型的描述和代价函数


CS229之线性回归_第1张图片

使用误差平方和来作为损失函数,最小化参数


2. 梯度下降

直观地理解梯度下降:

1)只包含一个参数:


CS229之线性回归_第2张图片

目标是找到一个, 使得损失函数最小。可以看到是凸函数,可以求得全局最小点。

(凸函数:简单的定义是,没有局部最小值,可以用随机梯度下降求得全局最小值的函数形式,像碗状)


CS229之线性回归_第3张图片

2)两个参数:


CS229之线性回归_第4张图片


学会看等高线图

CS229之线性回归_第5张图片

由于初始化的位置不同,可能陷入局部最小点


CS229之线性回归_第6张图片

参数需同时更新


CS229之线性回归_第7张图片

批梯度下降


CS229之线性回归_第8张图片

3. 线性模型的梯度下降


CS229之线性回归_第9张图片

求导的基本功还得再扎实细心些

CS229之线性回归_第10张图片


CS229之线性回归_第11张图片

满足凸函数

CS229之线性回归_第12张图片


CS229之线性回归_第13张图片

你可能感兴趣的:(CS229之线性回归)