吃瓜教程Task4 第五章 神经网络概念

以阐述个人理解出发，可能存在偏驳谬误，欢迎指正批评，不可尽听尽信。

神经网络概念

根据西瓜书所使用的概念，其定义为：神经网络是由其具有适应性的简单单元组成的广泛并行互联的网络，他的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

好，根据这句话，首先我们应该讨论，什么是具有适应性的简单单元？

其实很容易想到，根据第三章所学的线性模型，我们可以知道，只有一个属性的线性模型是非常简单的，而这个模型可以根据给定的输入输出调整自己的 $w$ 和 $b$，那他似乎就可以作为一个具有适应性的简单单元。

紧接着，这些简单单元组成了广泛并行互联的网络，如果我们选定线性模型作为简单单元，那么如何组成一个这样的网络呢？

广泛、并行、互联，三个关键词中，最好理解的可能是并行，我们可以将设计多个线性模型，公式均为：$y=wx+b$ ，然后假设所有的 $y$ 是同一个值，我们就互联了这些并行计算的线性模型公式。

但是新的问题出现了，在单独的 $y=wx+b$ 上，$y$ 直接受到 $w$ 和 $b$ 的影响，如果我们要达成互联，那么 $y$ 应该被全部的 $wx+b$ 所影响，即，假设目前有 $i$ 个 $x$, 结果 $y$ 会受到其共同作用。

此时并行和互联产生了矛盾，并行要求我们每个线性模型都是单独存在的(这样我们就不能使用线性模型的方式，设计一个多参数的线性模型。又或者可以说，当前每个简单的线性模型，已经是有多个属性的了，这些属性可能完全或者部分重复，因此不能组合成一个的线性模型)，而互联要求我们结果会相互影响，我们应该如何继续往下推进呢？

我们可以将所有的 $wx$ 求和，然后作为最终结果，即为 ${\sum }_{i=1}^n{w}_i{x}_i$ 。

再往下，我们，需要的是对真实世界物体作出的交互反应，也可以说，我们接下来讨论神经网络单元是否激活，当我们根据之前的神经网络单元的输入得到一个求和之后，我们要考虑是否激活当前单元进行计算，这就需要一个阈值。

我们设定阈值为 $\theta$ ，大于阈值的时候我们激活当前的神经元，反之则不激活，则所得到的结果可以整理成为： ${\sum }_{i=1}^n{w}_i{x}_i-\theta$。

到这里，我们的神经网络就差最后一步，激活函数，也就是说，当其超过阈值，我们应该作出反应，常见的激活函数就是sigmod，因为其连续、光滑(这样方便求导)，并且也可把值压缩到 0-1 之间。

至此，我们完成了一个非常简单的神经网络结构的讨论，只有两层的神经网络结构，也就是一个简单的感知机。