CS229 Week1 Linear Regression with-One Variable

---

title: CS229 Week1 Linear Regression with-One Variable
date: 2017-03-26 16:34:36
categories: ML/CS229
mathjax: true
tags: [Machine Learning,CS229]

---

吴恩达的Machine Learning

Machine Learning是Coursera上的一个课程。很受入门者的推崇。我在学习了BP算法(Back Propagation反向传播)之后开始观看。

第一周

1 Introduction

1.1 welcome

机器学习很有用也很有市场。

1.2 what is ML

• 学习算法主要是监督学习和无监督学习
• 如何选择学习算法

1.3 监督学习Supervised Learning

两个例子：

• Regression回归问题（房价）：连续值
• Classification分类问题（癌症）：离散值

1.4 无监督学习Unsupervised Learning 聚类算法

作用：不知道数据集的信息，机器来找到不同的聚类和结构关系
例子：

• google　news(相关新闻会聚集在一起)
• 很多人的基因放在一起，来自动的辨认个体类型
• 应用于机器的协同工作
• 应用于社交网络分析
• 应用于公司客户的细分市场，针对性营销
• 应用于天文科学
• 应用于嘈杂声音中的区分（鸡尾酒会算法）

2 单变量线性回归(Linear Regression with One Variable)

2.1 - Model Representation 模型表示

我们的第一个学习算法是线性回归算法。
例子：房价预测
通过单变量size of house和price的关系，求拟合函数，用于预测价格。

              training set

            learning algorithm
size of house ->hypothesis-> estimated price

h(x)=θ_0+θ_1*x

2.2 代价函数

在建模的过程中，引入的parameters \theta_0和\theta_1的初始值会导致建模误差(modeling error)，为了预测房价的准确，我们应该使得误差尽量小，于是引入cost function来衡量误差。
包括回归问题在内的大多数问题，cost function用误差平方代价函数都是很好用的：

cost function：
(θ_0,θ_1)= \frac{1}{2m} \sum_{i=1}^{m} (h(x_i)-y_i)^2

2.3 代价函数的直观理解

• hypothesis：h(x)=θ_0+θ_1*x
• Parameters:\theta_0和\theta_1
• Cost function:J(θ_0,θ_1)= \frac{1}{2m}\sum_{1}^{m}(h(x_i) - y_i)^2
• Goal:minJ(\theta_0,\theta_1)
  
  

  Paste_Image.png
  
  简化假设：θ_0=0即h(x)=θ_1*x，如此J(θ_1)变成一个二次函数，有最低点

2.4 代价函数的直观理解II

Paste_Image.png

等线图（contour plot）：若不做简化，则价值函数就从平面二次函数变为三维中的曲面（MATLAB实现），就可以在自变量平面上画等值线

2.5 梯度下降 Gradient Descent

有了直观感受，我们的目标降低J(\theta)就是找到最低点。
注：正规方程(normal equations)也能求J函数的最小值，但是计算量大，因此用梯度下降法

梯度下降：设置(\theta_0,\theta_1,...\theta_n)的初始值，按照梯度下降(下降最多的方向)设置新的\theta

批量梯度下降法的公式：

Paste_Image.png

批量梯度下降法Batch gradient descent:每一步都用到了所有数据
\alpha：learning rate
\theta：同步更新

2.6 梯度下降的直观理解

梯度下降中，计算的\frac{\sigma J(\theta)}{\sigma \theta_j}可以说是斜率，当该值很小的时候，可能就是到达最小值了，但也可能是局部最小值。

收敛到一个局部最小解上。或者凸函数（convex function）是全局最小值

2.7 梯度下降的线性回归 Gradient Descent For Linear Regression

回到之前的房价问题：

Paste_Image.png

我们将梯度下降法运用到线性回归模型上，得到梯度下降的公式：

Paste_Image.png

此处为”批量梯度下降”，在梯度下降每一步中，在计算微分求导项时，我们需要进行求和运算

3 Linear Algebra Review 线性代数

略略略