吴恩达machine-learning-ex4练习题解析之代价函数

        EX4主要是针对神经网络反向传播的实战，是非常重要的一课，所以花了我两天3夜地研究这道习题，还真是值得，收获满满。

        跟着ex4.pdf文档的脚步一步一步来：

1.首先1-3页都在表达初始化数据，和数据模型。

2.到了第五页，开始摩拳擦掌，实现第一段代码：神经网络代价函数

首先他给到这样的一个公式：

代价函数（无lambda项）

吼！不要被这个公式吓到了。先不考虑lambda项，后面再慢慢深入。

第一个∑

首先把∑就当成是一次for循环，去掉一个∑就等于把for循环套在外面，中间弄个sumTemp作为临时累加项，直到end结束，sumTemp就是这个求和项了，

比如去掉第一个∑就等于

for i = 1:m

sumTemp = sumTemp + xx

end

之前我们说过只要有∑项的就可以直接用矩阵相乘来考虑不用for循环，但在这个公式稍微复杂一些，分解步骤逐个求解有利于理解。

yk的转换

首先要知道这里的y(i)不能直接采用样本的y，你要想想一次神经网络的输出有10维，但y为什么只有一个值呢？那是因为中间做过处理，输出的10维向量，[0 0 0 0 0 0 0 0 1 0]，你没理由把这个给人家看，转成人看得懂的语言它就是9，所以直接的值就为单值。所以y(i)还要做一次神经网络算法看得懂的数据，一个十维向量，好在有个很方便的办法就是用==号:

numTemp = 1:numlabel; % 创造一个1：10的向量[1 ,2 ,3,4,5,6,7,8,9,10]

yk = (y(i) = =numTemp); %这个就会在numTemp里面逐个元素跟y对比，不对的打0，对的打1

这就得出y = 9时候，yk = [0,0,0,0,0,0,0,0,1,0];

第二个∑(K)

代价函数

你的假设函数得出的结果Hypthesis  (10dimen) 有一个是对的，其他是错的，无论对错都按照公式和yk逐个逐个算了再说，当对的时候yk = 1的时候，左边项自然不等于0，右边=0，反之亦然，算到最后的结果求和，就是单个样本对应的代价。

所以乎

J1row = -yk* log(Hypothesis(i,:))' - (1 - yk) * log(1 - Hypothesis(i,:))';

sumTemp = sumTemp + J1row;

Hypothesis(i,:)

这个不用说了，最好是看看教学视频，

X_1 = [ones(m, 1),X];

A_layer1_bias = X_1;

A_2 = sigmoid(X_1 * Theta1'); %5000*401 * 401 * 25 --> 5000*25

A_21 = [ones(m, 1),A_2]; % 5000 * 26

A_layer2_bias = A_21; %

Z_layer2 = A_layer2_bias * Theta2';

Hypothesis = sigmoid(Z_layer2); %5000X10

A_layer3 = Hypothesis;

Z_layer3 = A_layer3;

命名有点奇怪，下次不这样命名了，简洁为主

我这里的Hypothesis虽然没有算错，但有个地方命名跟教程上有点儿出入，导致后面计算梯度的时候会出错，这里看你能找到没？

全套代码如下

X_1 = [ones(m, 1),X];

A_layer1_bias = X_1;

A_2 = sigmoid(X_1 * Theta1'); %5000*401 * 401 * 25 --> 5000*25

A_21 = [ones(m, 1),A_2]; % 5000 * 26

A_layer2_bias = A_21; %

Z_layer2 = A_layer2_bias * Theta2';

Hypothesis = sigmoid(Z_layer2); %5000X10

A_layer3 = Hypothesis;

Z_layer3 = A_layer3;

numTemp = 1:num_labels;

sumTemp = 0;

for i = 1:m

yk= (numTemp == y(i)); %1x10

% Hypothesis 5000X10

J1row = -yk* log(Hypothesis(i,:))' - (1 - yk) * log(1 - Hypothesis(i,:))'; %this is one of example,1row

sumTemp = sumTemp + J1row;

end

J_noreg = sumTemp /m;

有人说这不是扯淡吗，Theta的初始化时随机的，Hypothesis算出来也就是一堆错误的值，那得出的代价有什么参考意义呢？诶，这里的意义就大了，这也是神经网络算法的魅力所在——就算拿个代价相差太大的J他都可以慢慢调整到对为止，直到代价越来越少，接近“真相”这也是下半部分要说的计算ThetaGrad值。