机器学习入门(六)神经网络初识

目录

一、模型解释

1.1 用人脑解释

1.2 用模型解释 

二、通过异或门的神经网络理解偏置量、神经网络的传播

2.1 与门的神经网络表示

2.2 或门的神经网络表示 

2.3 异或门的神经网络表示 

三、多物体分类 


一、模型解释

1.1 用人脑解释

机器学习入门(六)神经网络初识_第1张图片        神经网络是模拟人的神经元,通过输入电化学信号(Input:Dendrite)经过细胞核(Dealing:Nucleus)处理得到结果(Output:Axon)传给下一个神经元(下一个输入)。

1.2 用模型解释 

机器学习入门(六)神经网络初识_第2张图片

        这个相比于人脑神经元系统:我们拿肿瘤分类举例

        偏置单元(bias unit):x_{0}=1

        待训练参数:\theta_{1},\theta_{2},\theta_{3},\theta_{4}

        输入(Input):x_{1},x_{2},x_{3}

        处理函数(Dealing):激活函数,逻辑回归的激活函数为Sigmoid函数

g(z) = \frac{1}{1+e^{-z}} \ \ \ z=\theta^{T}x

        输出(Output):根据处理函数处理出的值和判断阈值确定分类或者输出逻辑是或者逻辑否。机器学习入门(六)神经网络初识_第3张图片

        神经网络一般有三层:分别是输入层、隐藏层和输出层。

机器学习入门(六)神经网络初识_第4张图片        我们定义几个符号:

        a_{i}^{(j)}:是第j层的第i个激活单元 

        \Theta ^{(j)}:控制从层j到层j+1的函数映射的权重矩阵
        且一般每新的一个隐藏层会多一个隐藏层,如果用s_{j}表示在j层的单元数量,s_{j+1}表示在j+1层的单元数量,那么\Theta ^{(j)}的维度为s_{j+1} \times (s_{j}+1)

二、通过异或门的神经网络理解偏置量、神经网络的传播

2.1 与门的神经网络表示

        这里我们选择单层隐藏层的神经网络,假设我们训练出的参数\theta_{1},\theta_{2}为20,20。(怎么训练的不用管,后文会介绍)。偏置量\theta_{0}设置为30。

        我们输入为(x_{1},x_{2})\subset binary(0\ or\ 1),输出为y = x_{1} \ AND \ x_{2}

        神经网络如下:

机器学习入门(六)神经网络初识_第5张图片

        ①我们输入一组参数判断是否是与逻辑,比如(x_{1},x_{2}) = (1,0)

        则激活函数h_{\Theta }(x) = g(-30 + 20*1 + 20*0)=g(-10),通过观察Sigmoid函数:

机器学习入门(六)神经网络初识_第6张图片

         g(-10)的值低于0.01,远低于0.5,我们认为是约等于0的。也就是不存在与关系。

         ②我们输入一组参数判断是否是与逻辑,比如(x_{1},x_{2}) = (1,1)

        则激活函数h_{\Theta }(x) = g(-30 + 20*1 + 20*1)=g(10),通过观察Sigmoid函数:

机器学习入门(六)神经网络初识_第7张图片

         g(10)的值接近于1,我们认为存在与关系。

2.2 或门的神经网络表示 

        这里我们选择单层隐藏层的神经网络,假设我们训练出的参数\theta_{1},\theta_{2}为20,20。(怎么训练的不用管,后文会介绍)。偏置量\theta_{0}设置为-10。

        我们输入为(x_{1},x_{2})\subset binary(0\ or\ 1),输出为y = x_{1} \ OR \ x_{2}

        神经网络如下:

机器学习入门(六)神经网络初识_第8张图片

        ①我们输入一组参数判断是否是与逻辑,比如(x_{1},x_{2}) = (1,0)

        则激活函数h_{\Theta }(x) = g(-10 + 20*1 + 20*0)=g(10),通过观察Sigmoid函数:

机器学习入门(六)神经网络初识_第9张图片

         g(10)的值接近于1,我们认为存在或关系。

         ②我们输入一组参数判断是否是与逻辑,比如(x_{1},x_{2}) = (1,1)

        则激活函数h_{\Theta }(x) = g(-10 + 20*1 + 20*1)=g(30),通过观察Sigmoid函数:

机器学习入门(六)神经网络初识_第10张图片

         g(30)的值接近于1,我们认为存在与关系。

2.3 异或门的神经网络表示 

        我们结合与门和非门,推导出异或门。

        异或门对应两种情况:(1,0),(0,1)

        x_{1} \ AND \ x_{2}对应的情况是(1,1)

        (NOT \ x_{1}) \ AND \ (NOT \ x_{2})对应的情况是(0,0)

        则去掉这两种情况便得到了异或门。我们画出神经网络的结构:

机器学习入门(六)神经网络初识_第11张图片

         推导前面已经给出,现不重复推导。

三、多物体分类 

机器学习入门(六)神经网络初识_第12张图片

        神经网络也能进行多物体分类,它的输出层为向量,如果确定是该物体则该向量的该分量输出为1,而不是像1,2,3,4之类的。 

你可能感兴趣的:(机器学习,神经网络,人工智能)