[Machine Learning][Part 7]神经网络的基本组成结构

这里我们将探索神经元/单元和层的内部工作原理。特别是,与之前学习的回归/线性模型和逻辑模型进行比较。最后接介绍tensorflow以及如何利用tensorflow来实现这些模型。

神经网络和大脑的神经元工作原理类似，但是比大脑的工作原理要简单的多。大脑中神经元的工作原理如下图：inputs表示上一个神经元传递过来的信号，然后经过当前神经元的处理，当前神经元将处理后的信号传递给下一个神经元，这样基本的信号传递就完成了。

神经网络的结构

machine learning的神经网络结构类似于大脑的神经网络结构，下图中向量x为上一层的输入，包含三个蓝色圆圈的黑色方框是当前的处理层，向量a[1]为当前层的输出，并且问下一层的输入，向量a[2]为最终的输出结果。可以看到一个简单的神经网络由输入层、处理层、输出层组成，其中处理层中可以包含多个处理的“神经元”，处理层也叫做隐藏层。

更复杂的神经网络包含多个处理层，如下图，包含两个处理层：

 输入层

输入训练数据的作用

处理层

处理层中包含多个神经元，每一个神经元就是一个处理模型，比如说线性回归模型，逻辑回归模型或者sigmoid激活函数。

比如上面的处理层a[1]有3个神经元（unit表示神经元），那么layer_1中包含3个unit，并且都是sigmoid激活函数。输出层a[2]有一个神经元，那么layer_2中unit为1，模型为sigmoid激活函数

那么怎么将各层之间的输入与输出联系起来呢？Sequential 会将所有的层按线性连接起来形成module，如下图

这种上一层的输出结果作为下一层的输入，并计算下一层的输出，直到计算到输出层为止，被叫做前向传播(forward)。 前向传播的一般实现为:

import numpy as np


W = np.array([[1,-3,5]
              [2,4,-6]])
b = np.array([-1,1,2])
a_in = np.arry([-2,4])


def dense(a_in,W,b,g):
    units = W.shape[1]
    a_out = np.zeros(units)
    for j in range(units):
        w= W[:,j]
        z = np.dot(w,a_in) + b[j]
        a_out[j]=g(z)
    return a_out


def sequential(x):
    a1 = dense(x,W[1],b[1])
    a2 = dense(a1, W[2], b[2])
    a3 = dense(a2, W[3], b[1])
    a4 = dense(a3, W[4], b[1])
    f_x = a4
    return f_x