吴恩达机器学习machine-learning-ex3题解及经验

第一题

与上一次一样，求出代价函数的值。

注意：

A = sigmoid(X*theta);
J = sum(-y.*log(A)-(1-y).*log(1-A))/m+lambda/(2*m)*sum(theta(2:1:size(theta)(1),:).^2);

步骤：1通过sigmoid激活函数对是预测的值在0~1之间
2.得到预测值，按照代价函数公式进行求和，注意j是从1开始的，是因为θ0是常数项，不需要被正则化。
第二题
求每一次下降的梯度。

梯度下降步骤：1第一项不需要正则化
对它单独求解
2.后面的几项需要正则化
grad(1) = sum((A-y)*x'(1,:))/m
K = (X'(2:1:size(X')(1),:)*(A-y))/m;
V = K + lambda/m*theta(2:1:size(theta)(1),:);
grad = [grad(1);V];

第三题

题目给出的数据是一个多分类问题，分别用y的值分别用1~10来表示，为了求每一个分类最优的θ参数，

for c = 1:num_labels
  
  all_theta(c,:) = fmincg(@(t)(lrCostFunction(t, X, (y==c), lambda)),initial_theta,options);
endfor

通过一个for循环来确定当前的y值与遍历的c值是否一样。c代表的是十个类别中的某一个类别，当c=1时，就会找出所有y=1的经过梯度下降的参数项。
最后得到一个结果集 如果我们现在有很多训练集
训练集*结果集的转置每一行的最大值的列数就是预测值