AndrewNG Coursera课程编程作业（二）fminunc求解logistics回归

目标：

构建一个logistics回归模型，依据学生两次考试的成绩来预测一个学生能否被大学录取

通过的输入数据文件为ex2data1.txt：

# 为用逗号隔开的3列，分别为：exam1Score,exam2Score,lable

34.62365962451697,78.0246928153624,0
30.28671076822607,43.89499752400101,0
35.84740876993872,72.90219802708364,0
60.18259938620976,86.30855209546826,1
79.0327360507101,75.3443764369103,1
45.08327747668339,56.3163717815305,0
61.10666453684766,96.51142588489624,1
75.02474556738889,46.55401354116538,1
76.09878670226257,87.42056971926803,1
...

1. 读入数据，并画出数据分布散点图

   data = load('ex2data1.txt');
   x = data(:,:2);
   y = data(:,3);
   
   % 画图
   %% 区分出两类样本
   pos = find(y==1);
   neg = find(y==0);
   figure;
   %% 画出pos类样本
   plot(x(pos,1), x(pos,2),'k+','MarkerSize', 3);
   hold on;
   %% 画出neg类样本
   plot(x(neg,1), x(neg,2),'ko','MarkerSize', 3);
   xlab('Exam 1 score');
   ylab('Exam 2 score');
   legend('Admitted', 'Not admitted');
   hold off;
   

   要得到的目标函数为 sigmoid 函数：

2. 计算Cost和gradient

   [m,n] = size(x);
   X = [ones(m),data(:,:2)];
   initialTheta = zeros(1,n+1);
   % 计算初始的Cost和gradient
   [initalCost,initialGradient] = costFunction(X,y,initialTheta);
   % 打印出初始时的Cost和gradient
   fprintf('Cost at initial theta(zeros): %f\n",initialCost);
   fprintf('Gradient at initial theta(zeros): %f\n",initialGradient);
   

   在计算初始的Cost (initalCost) 和 gradient (initialGradient) 时，调用了自定义的函数costFunction

   损失函数为：

   梯度的计算公式为：

   下面给出costFunction函数的定义：

   function [jVal,gradient] = costFunction(x,y,theta)
       predict = sigmoid(x*theta);
       leftCost = -y'*log(predict);
       rightCost = -(1-y)'*log(1-predict);
       jVal = (1/m)*(leftCost+rightCost);
       gradient = (1/m)*((predict-y)'*x);
   end
   

   在上面的costFunction函数中又调用了sigmoid函数，定义为：

   function g = sigmoid(x)
       g = 1./(1+exp(-x));
   end
   

3. 优化目标函数

   使其目标函数的Cost最小化，即

   可以像练习一那样使用传统的梯度下降方法进行参数的优化，但Octave内部自带了fminunc函数，可以用于非约束优化问题（unconstrained optimization problem）的求解

   fminunc函数的用法为：

   %% 设置fminunc函数的内部选项
   options = optmset('GradObj', 'on', 'MaxIter', 400);
   % 'GradObj', 'on' 设置梯度目标参数为打开状态，即需要给这个算法提供一个梯度
   % 'MaxIter', 400 设置最大迭代次数
   
   %% 使用fminunc函数执行非约束优化
   [optTheta, functionVal, exitFlag] = fminunc(@costFunction, initialTheta, options);
   

   一般情况下costFunction函数和它的函数名一样，只计算Cost值，不过由于这里要用到fminunc这个非约束优化函数，该函数需要提供Cost和gradient，所以在前面costFunction函数时，增加了一个计算梯度值的功能

4. 画出决策分界面 (Decision Boundary)

   先像前面的第一步那样，画出原始数据分布散点图

   % 画图
   %% 区分出两类样本
   pos = find(y==1);
   neg = find(y==0);
   figure;
   %% 画出pos类样本
   plot(x(pos,1), x(pos,2),'k+','MarkerSize', 3);
   %% 画出neg类样本
   plot(x(neg,1), x(neg,2),'ko','MarkerSize', 3);
   xlab('Exam 1 score');
   ylab('Exam 2 score');
   

   然后在散点图的基础上，把分界线画出来

   分界线满足：

   得到x1和x2直接的关系为：

   hold on;
   % 只需要选择两个点即可将直线画出
   plot_x = [min(X(:,2))-2, max(X(:,2))+2];
   plot_y = (-1./theta(3)).*(theta(2).*plot_x + theta(1));
   plot(plot_x, plot_y)
   legend('Admitted', 'Not admitted', 'Decision Boundary')
   hold off;