Coursera机器学习笔记3

Week 4

4.1 神经网络

模型表示1

神经网络可以分为三部分：（输入）树突、（logistic）激励、（输出）轴突。一个简单的模型如下图。

image1.png

x0通常为1，第一层为输入层；
在这个例子中，中间层为ai(2)。
第j个权重矩阵决定了第j层到第j+1层的调整，如果第j层有s(j)个单元，第j+1层有s(j+1)个单元，则第j个权重矩阵的维度是s(j+1)*(s(j)+1)

image1.png

4.2 应用

例子1

一个简单的例子是用神经网络预测x1 AND x2，

image2.png

中间层为logistic函数，最终结果是

image3.png

同样地，我们也可以预测x1 OR x2，只需要改变权重矩阵：

image3.png

例子2

逻辑关系AND，NOR，OR的权重矩阵分别是：

image4.png

将这几种计算关系结合，可以用来计算x1 XNOR x2（当x1和x2都是0或者都为1时取1）

image5.png

其中天蓝色关系是：=1 if and only if x1=x2=0

多分类问题

需要将数据分为四类

image6.png

将结果y定义为：

image7.png

每个yi代表着一种类别，神经网络中的隐藏层分别提供了新的信息，产生最终的假设函数，建立的网络示意图：

image.png

最终结果应该是yi的四个结果之一