吴恩达机器学习第一次编程作业----LinearRegression
1:Simple Octave/MATLAB function
第一个任务是输出一个5*5的单位矩阵，这个只需要在warmUpExercise.m文件里面添加 A = eye(5) 即可。 输出结果如下图：
A = eye(5)
1.1 Submitting Solutions
这个是讲如何提交文件的，如果是在coursea上面看课程的同学就可以提交，如果在网易云课堂里面看的应该就不行。具体略。
2:Linear regression with one variable
1:首先需要读取作业里面已经准备好的数据集(确保你的 Octave 运行在 ex1 目录下)：
data = load('ex1data1.txt') % 读取ex1data1里面的数据，数据的第一列是X的值，第二列是Y的值；
X = data(:,1); y = data(:,2);
m = length(X);
接下来，把X，Y以图像的形式表示出来：
plot(x, y, 'rx', 'MarkerSize', 10); % ‘rx’ 这里的r代表红色，x代表cross，也就是叉
ylabel('Profit in $10,000s');
xlabel('Population of City in 10,000s');
如下图：
2.2 Gradient Descent
在作业中，我们使用的预测函数如下：
linear regression 的 cost function表示如下：
这里是用平方法来表示误差，误差越小，代表线拟合得越好，所以我们得求出使得J最小的theta的值。用梯度下降法来解决。
首先对该式子分别对 theta0 和 theta1求偏导：
对theta0:
对theta1:
对微积分知识不太熟的同学还是去看看高数书。
所以:
对于 theta0: （这里的J = 0）
对于 theta1: （这里的J = 1）
接下来是具体的实现：
X = [ones(m, 1), data(:,1)]; % X 的第一列之所以设置为1，是因为theta0没有与x相乘，所以设置为1，让矩阵相乘之后还是等于 theta0;
theta = zeros(2, 1); % initialize fitting parameters，这里可以随意设置 theta 的初始值
iterations = 1500;
alpha = 0.01;
然后打开computeCost.m文件
完成计算 cost 的代码：
J = sum((X*theta-y).^2)/(2*m);
再接下来，完成gradientDescent.m 文件里面的代码：
% Initialize some useful values
m = length(y); % number of training examples
J_history = zeros(num_iters, 1);
theta_s = theta;
for iter = 1:num_iters
% ====================== YOUR CODE HERE ======================
% Instructions: Perform a single gradient step on the parameter vector
% theta.
%
% Hint: While debugging, it can be useful to print out the values
% of the cost function (computeCost) and gradient here.
%
theta(1) = theta(1) - alpha*sum(X*theta_s-y)/m;
theta(2) = theta(2) - alpha*sum((X*theta_s-y).*X(:,2))/m;
theta_s = theta;
注意：theta的在计算过程中会变化，所以需要用一个 theta_s = theta 来暂存上一次的计算结果。
之所以是 theta(1)和 theta(2) 而不是 theta(0)和 theta(1) 是因为 Octave 的下标是从1开始的。
然后在Octave里面调用 gradientDescent.m里面的函数：
[theta, J_history] = gradientDescent(X,y,theta,alpha,iterations)
输出J_history可以看到J的值不断变小。大家可以增加迭代的次数试试看，后面就会趋向一个稳定值。
接下来输出预测的直线：
hold on;
plot(X(:,2), X*theta, '-')
hold off
2.4 Visualizing J(θ)
下面是在一个3D的空间可视化J，下面代码不难看懂，就不再解释了。
theta0_vals = linspace(-10, 10, 100);
theta1_vals = linspace(-1, 4, 100);
J vals = zeros(length(theta0 vals), length(theta1 vals));
% Fill out J vals
for i = 1:length(theta0 vals)
for j = 1:length(theta1 vals)
t = [theta0 vals(i); theta1 vals(j)];
J vals(i,j) = computeCost(x, y, t);
end end
J_vals = J_vals';
figure;
surf(theta0_vals, theta1_vals, J_vals)
xlabel('\theta_0'); ylabel('\theta_1');
获得的图像如下：
再下来获得等高线的图：
% Contour plot
figure;
% Plot J_vals as 15 contours spaced logarithmically between 0.01 and 100
contour(theta0_vals, theta1_vals, J_vals, logspace(-2, 3, 20))
xlabel('\theta_0'); ylabel('\theta_1');
hold on;
plot(theta(1), theta(2), 'rx', 'MarkerSize', 10, 'LineWidth', 2);
结果如图所示：
3 Linear regression with multiple variables
首先还是先读取数据：
data = load('ex1data2.txt');
X = data(:, 1:2);
y = data(:, 3);
m = length(y);
这里看一下X，可以发现两个feature的数量级差距有点大，这样会导致在做梯度下降的时候，需要很多次的迭代才能找到最优解，所以这里最好先对数据特性归一化处理。公式如下：
PS：其中，μ是平均数，在octave里面可以通过 mean()函数求得；
σ是代表数据的标准偏移量，可以使用 std()函数求得，具体的公式可以通过 help std去查看下；
3.1 Feature Normalization
下面开始完成featureNormalize.m文件：
mu = mean(X);
sigma = std(X);
X_norm = (X - repmat(mu, size(X,1), 1)) ./ repmat(sigma, size(X,1), 1);
PS: repmat() 函数可以去help一下。
下面继续：
[X mu sigma] = featureNormalize(X);
X = [ones(m,1) X] % theta0的对应的x(i)为1，也可以理解成没有x(i)，这里为了计算，所以加上去
alpha = 0.01;
iterations = 400;
theta = zeros(3, 1);
另外，也要完成代价函数里面的代码，这里有两种方法，一种还是跟上面一样，另外一种是通过矩阵的运算去计算，公式如下：
J = (X*theta - y)'*(X*theta -y)/(2*m)
熟悉线性代数的理解起来不难。
3.2 Gradient Descent
接下来就是完成梯度下降函数了，这里跟上面单变量有点不太一样，上面是列举的方法计算，这里使用矩阵运算，熟悉线性代数理解起来也是不难。
theta = theta -alpha / m * X' * (X * theta -y);
接下来就是使用梯度下降来计算最优解了，然后画图：
[theta, J_history] = gradientDescentMulti(X, y, theta, alpha, num_iters);
%然后画图
figure;
plot(1:numel(J_history), J_history, '-b', 'LineWidth', 2);
xlabel('Number of iterations');
ylabel('Cost J');
3.3 Normal Equations
最后一种解法，就是使用正规方程去解，公式如下：
theta = (pinv(X'*X))*X'*y;