基础介绍
以下为自己动手写的一个最简单最基础的三层神经网络模型，采用python语言，主要使用numpy库进行数学运算。
神经网络类包含一个输入层，一个隐藏层（最简单的矩阵乘子层），一个输出层。在隐藏层和输出层采用sigmoid激活函数。具有推导、训练功能，并具有debug内部过程输出功能。
实践环节
以下文件包含了神经网络类
#yyznet.py
import numpy as np
from numpy.core.numeric import full
from scipy.special import expit
class yyznn:
def __init__(self, input, hidden, output, learning_rate, debug=False):
self.inode = input
self.hiddennode = hidden
self.outputnode = output
self.learning_rate = learning_rate
self.initialize()
self.debug = debug
self.activation = expit
def initialize(self):
self.wih = np.zeros((self.hiddennode, self.inode), dtype=np.float)
self.who = np.zeros((self.outputnode, self.hiddennode), dtype=np.float)
def forward(self, input_array):
input_ndarray=np.ravel(np.array(input_array)).T
hidden_in = np.matmul(self.wih, input_ndarray)
hidden_out = self.activation(hidden_in)
output_in = np.matmul(self.who, hidden_out)
output_out = self.activation(output_in)
if self.debug: print("net w:", self.wih, self.who, sep="\n")
return output_out
def fit_once(self, X, y):
X_ndarray = np.ravel(np.array(X)).T
y_ndarray = np.ravel(np.array(y)).T
if self.debug: print("in:", X_ndarray, "out:", y_ndarray, sep='\n')
hidden_in = np.matmul(self.wih, X_ndarray)
hidden_out = self.activation(hidden_in)
output_in = np.matmul(self.who, hidden_out)
output_out = self.activation(output_in)
output_error = y_ndarray - output_out
hidden_error = np.matmul(self.who.T, output_error)
if self.debug: print("error output:", output_error, "errors hidden", hidden_error, sep='\n')
if self.debug: print("old w:", self.wih, self.who, sep='\n')
self.who += self.learning_rate * np.dot(np.expand_dims((output_error * output_out*(1.-output_out)), axis=1),\
np.expand_dims(hidden_out, axis=1).T)
self.wih += self.learning_rate * np.dot(np.expand_dims((hidden_error * hidden_out*(1.-hidden_out)), axis=1),\
np.expand_dims(X, axis=1).T)
if self.debug: print("new w:", self.wih, self.who, sep='\n')
以下文件包含了调用神经网络并对矩阵进行拟合的代码，代码对网络进行十次训练，输出每次训练后的拟合结果。
#main.py
from operator import truediv
import numpy as np
import yyznet
wly = yyznet.yyznn(4, 10, 2, 1, debug=False)
X = np.array([1, 2, 3, 4])
y = np.array([0.6, 0.8])
print(wly.forward(X))
for i in range(10):
wly.fit_once(X, y)
print(wly.forward(X))
输出的结果
[0.5 0.5]
[0.51561992 0.54673815]
[0.5298997 0.58856266]
[0.5440345 0.62834611]
[0.55768086 0.66492412]
[0.56987541 0.69618157]
[0.57982865 0.72111183]
[0.58731892 0.74013608]
[0.59259844 0.75437381]
[0.5961262 0.76499471]
[0.59837175 0.77295694]
可见每次梯度下降的训练都能够让拟合结果更接近[0.6, 0.8]这个结果，神经网络有效。
下一步
下一步对于神经网络的学习中主要在于
- 编程技巧，构建能被更加广泛使用的、面向对象的python神经网络
- 学习数学原理，依次为根据调整神经网络的参数