神经网络

神经网络的重要性质是它可以从数据中学习到适合的权重参数。
1 从感知机到神经网络

1.1 神经网络的例子
输入层、输出层、中间层(隐藏层）。

1.2 感知机的函数

令

则

1.3 激活函数登场
例如上节的,激活函数会将输入信号的总和转换为输出信号。激活函数是连接感知机和神经网络的桥梁。

2 激活函数

2.1 sigmoid函数

2.2 阶跃函数的实现
 

import numpy as np
def step_function(x):
    y = x > 0
    return y.astype(np.int)

2.3 阶跃函数的图形
通过以下代码作图
 

import numpy as np
import matplotlib.pylab as plt

def step_function(x):
    y = x > 0
    return y.astype(np.int)

x = np.arange(-5.0,5.0,0.1)
y = step_function(x)
plt.plot(x, y)
plt.ylim(-0.1, 1.1)
plt.show()

2.4 sigmoid函数实现
 

def sigmoid(x):
    return 1/(1+ np.exp(-x))

作出sigmoid函数的图像

2.5 sigmoid函数 与阶跃函数的比较
两函数在趋势上相似。
感知机中神经元流动的是0或1的二元信号，适合使用阶跃函数作为激活函数，神经网络中流动的是连续的实数值信号，适合使用sigmoid函数作为激活函数。
2.6 非线性函数
因为线性函数无法发挥叠加层的优势，所以神经网络的激活函数必须使用非线性函数。
2.7 Relu函数(另一种激活函数）

3 多维数组的运算

3.1 多维数组
3.2 矩阵乘法
3.3神经网络的内积
4 3层神经网络的实现

输出层所用的激活函数：根据求解问题的性质决定。一般，回归问题：恒等函数 ，二元分类问题：sigmoid函数，多元分类问题:softmax函数。
回归问题：根据某个输入，预测某个数值的问题。