吴恩达机器学习课后作业深度解析（附答案）（ex1）

作业ex1题目及答案源码下载地址ex1题目及答案

一. 单变量线性回归

问题背景：假如你是餐馆老板，已知若干城市中人口和利润的数据（ex1data1.txt），用线性回归方法计算该去哪个城市发展。 ex1.m是官方提供的入口函数，通过该函数补全其他函数的代码。

1. warmUpExercise.m：输出5*5的单位矩阵

A = eye(5);

Matlab中，eye(n) 返回n*n的单位矩阵，eye(m,n) 返回m*n的单位矩阵

2. plotData.m：给定x、y两列向量，画出相应点

figure; % open a new figure window
plot(x, y, 'rx', 'MarkerSize', 10); % Plot the data
ylabel('Profit in $10,000s'); % Set the y   axis label
xlabel('Population of City in 10,000s'); % Set the x   axis label

3. computeCost.m：计算代价
   假设hypothesis函数为
   $$h_{\theta }={\theta }^{T}x={\theta }_0+{\theta }_1{x}_1$$
   一共m个数据，代价函数为
   $$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$

J = sum((X * theta - y).^2) / (2*m); 

4. gradientDescent.m：计算梯度
   为方便求导，将$J(\theta )$写成如下形式
   $$J(\theta )=\frac{1}{2m}[(h_{\theta }(x^{(1)})-y^{(1)}{)}^2+(h_{\theta }(x^{(2)})-y^{(2)}{)}^2+...]$$
   对${\theta }_1$求偏导得
   $$\begin{array}{rl}\frac{\partial }{\partial {\theta }_1}J(\theta )=& \frac{1}{2m}[2(h_{\theta }(x^{(1)})-y^{(1)})x_1^{(1)}+2(h_{\theta }(x^{(2)})-y^{(2)})x_1^{(2)}+...]\\ =& \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_1^{(i)}\end{array}$$
   所以有
   $${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)},(j=0,1)$$

theta(1) = theta(1) - alpha / m * sum(X * theta_s - y);       
theta(2) = theta(2) - alpha / m * sum((X * theta_s - y) .* X(:,2));  
theta_s=theta; 

迭代多次后便可得到理想的$\theta$值。接下来的根据x预测y值，以及绘制三维图、等高线图题目中已给出，这里不再赘述。matlab中的画图函数surf和画等高线图函数contour可以自行百度。

二、多变量线性回归

问题背景：卖房子，已知一系列数据，根据房屋大小和卧室数量两个特征，预测房子价钱，数据在（ex1data2.txt）。

1. featureNormalize.m：数据特征归一化，因为房子大小和卧室数量不在一个数量级，直接计算收敛速度慢，所以先采用0均值标准化，归一化公式如下，详细介绍见线性回归与特征归一化(feature scaling)：
   $$z=\frac{x-\mu }{\sigma }$$
   均值方差根据matlab容易求得，代码如下

 mu = mean(X);       %  mean value 
 sigma = std(X);     %  standard deviation
 X_norm  = (X - repmat(mu,size(X,1),1)) ./  repmat(sigma,size(X,1),1);

2. computeCostMulti.m：计算代价
   假设hypothesis函数为
   $$h_{\theta }={\theta }^{T}x={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$$
   一共m个数据，代价函数为
   $$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$

J = sum((X * theta - y).^2) / (2*m); 

3. gradientDescentMulti.m：计算梯度
   $J(\theta )$对${\theta }_j$求偏导得
   $$\begin{array}{rl}\frac{\partial }{\partial {\theta }_j}J(\theta )=& \frac{1}{2m}[2(h_{\theta }(x^{(1)})-y^{(1)})x_j^{(1)}+2(h_{\theta }(x^{(2)})-y^{(2)})x_j^{(2)}+...]\\ =& \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}\end{array}$$
   所以有
   $${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)},(j=0,1)$$
   令$\theta =[{\theta }_0,{\theta }_1,{\theta }_2{]}^T$，$X\in R^{m\times 3},Y\in R^m$有
   $$\theta =\theta -\alpha \frac{1}{m}{X}^T(X\theta -Y)$$

theta = theta - alpha / m * X' * (X * theta - y); 

4. 根据迭代n次后得到的$\theta$，计算1650平方英尺、3个卧室的房子价钱

price = [1 (([1650 3]-mu) ./ sigma)] * theta ;

三、用正规方程（解析解）直接计算$\theta$

根据${\nabla }_{\theta }J(\theta )=0$求得解析解如下（具体过程见视频课程）
$$\theta =(X^{T}X{)}^{-1}{X}^{T}Y$$
代码为

theta = pinv( X' * X ) * X' * y;

不再需要使用归一化处理数据。

解析解和梯度下降都可以很好的进行预测，上述实验数据虽然最后得到的$\theta$不同，但是预测结果一致。解析方法在数据量极大时存在时间效率问题。具体可见正规方程normal equation。