机器学习---编程练习（一）：线性回归
机器学习—编程练习（一）：线性回归
文件列表：
ex1.m - Octave/MATLAB script that steps you through the exercise
ex1 multi.m - Octave/MATLAB script for the later parts of the exercise
ex1data1.txt - Dataset for linear regression with one variable
ex1data2.txt - Dataset for linear regression with multiple variables
submit.m - Submission script that sends your solutions to our servers
[*] warmUpExercise.m - Simple example function in Octave/MATLAB
[*] plotData.m - Function to display the dataset
[*] computeCost.m - Function to compute the cost of linear regression
[*] gradientDescent.m - Function to run gradient descent
[+] computeCostMulti.m - Cost function for multiple variables
[+] gradientDescentMulti.m - Gradient descent for multiple variables
[+] featureNormalize.m - Function to normalize features
[+] normalEqn.m - Function to compute the normal equations
[*]为需要完成的内容
[+]为可选择完成的内容
1 简单的Octave/Matlab函数
修改 warmUpExercise.m，使它返回一个5*5的单位矩阵
A = eye(5);
输出结果：
ans =
Diagonal Matrix
1 0 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
2 单一变量的线性回归
2.1 绘制数据
完成文件plotData.m绘制点图。将下列代码粘贴到plotData.m中
plot(x, y, 'rx', 'MarkerSize', 10); % Plot the data rx表示绘制x形状的点
ylabel('Profit in $10,000s'); % Set the y?axis label
xlabel('Population of City in 10,000s'); % Set the x?axis label
如图：
2.2 梯度衰减
2.2.1 更新方程
最小化成本函数
梯度下降算法迭代更新函数
2.2.2 实现
练习中已经写好了,如下图所示：
2.2.3 计算成本函数 J(θ)
在 computeCost.m 中代码输入部分添加如下代码
h = X*theta; %计算hθ(x）
J = 1/(2*m) .* (h - y)'*(h - y);
%计算J，其中求和使用矩阵乘法完成。原理如下图所示
2.2.4 梯度下降
在gradientDescent.m中代码输入部分添加如下代码：
h = X*theta;
theta = theta - alpha / m .* X'*(h - y);
运行代码后将会出现下图
2.3 可视化
这部分不需要添加任何代码，为了将来便于复习，就将讲义上代码截下来了。
可视化结果
3 多变量的线性回归
3.1 特征归一化
完成文件featureNormalize.m ，求归一化。
归一化方法
求出每列数据的平均值和标准差。每列数据减去相应的平均值后除以标准差。
其中X是数据，mu是X的平均值，sigma是X的标准差
在featureNormalize.m 中输入下列代码
mu = mean(X);%求mu
sigma = std(X);
X_norm = (X - mu)./sigma;
上边代码不知道怎么回事，有时候能通过有时候不能通过。不行的话就用下面的
mu = mean(X);%求mu
sigma = std(X);
l_mu = size(X,2);
for i = 1:l_mu
X_norm(:,i) = (X(:,i) - mu(i))./sigma(i);
end
另外在ex1 multi.m第109行price = 0下面添加下列代码
predict = [1650,3];
predict = (predict - mu)./sigma;
price=[1,predict]*theta;
注意： 不能写成
price = [1,1650,3]*theta;
因为X中的数据是归一化后求得的theta，所以输入的price也需要归一化。
3.2 梯度下降
和单变量的代码一样，粘贴过去就行了
h = X*theta;
theta = theta - alpha / m .* X'*(h - y);
我的输出结果是这样的
3.2.1 改变学习率α
将迭代次数设置为50后，调整学习率，使他达到和之前迭代次数为400时一样的曲线。完成时如下图所示
这个调整起来比较困难，我试了好多次都没调到这样的曲线。有兴趣的可以自己试一下。
从中可以得到的结论是：
如果学习率α过大，曲线将会下降的很快。这是学习率为1的情况。
如果α过大，曲线下降的又会非常缓慢，还没找出最小损耗迭代就结束了。下图α为0.01
3.3 正规方程
这种方法不需要归一化，在 normalEqn.m 中添加下列代码直接运行ex1_multi就可以了。
如果没出错，将会和之前使用梯度衰减的方法产生相差不大的结果
theta = pinv(X'*X)*X'*y;
以及在ex1_multi中price = 0下添加
price = [1, 1650, 3] *theta;
我的结果： 