CS224d Assignment1 part2(Neural Network Basics)非代码部分

CS224d Assignment1 part2(Neural Network Basics)非代码部分_第1张图片
CS224d Assignment1 part2(Neural Network Basics)非代码部分_第2张图片
CS224d Assignment1 part2(Neural Network Basics)非代码部分_第3张图片
CS224d Assignment1 part2(Neural Network Basics)非代码部分_第4张图片
CS224d Assignment1 part2(Neural Network Basics)非代码部分_第5张图片
CS224d Assignment1 part2(Neural Network Basics)非代码部分_第6张图片
由图知计算过程为:
Z 1 = x W 1 + b 1 Z_1=xW_1+b_1 Z1=xW1+b1
②隐藏层 h = s i g m o i d ( Z 1 ) h=sigmoid(Z_1) h=sigmoid(Z1)
Z 2 = h W 2 + b 2 Z_2=hW_2+b_2 Z2=hW2+b2
④输出层 y ^ = s o f t m a x ( Z 2 ) \widehat{y}=softmax(Z_2) y =softmax(Z2)
损失函数:交叉熵
在这里插入图片描述
求导过程:
CS224d Assignment1 part2(Neural Network Basics)非代码部分_第7张图片
在这里插入图片描述
图中为全连接:
则参数个数:
D x ∗ H + H + H ∗ D y + H D_x*H+H+H*D_y+H DxH+H+HDy+H

你可能感兴趣的:(CS224)