今天用 Keras 来构建一个分类神经网络,用到的数据集是 MNIST,就是 0 到 9 这几个数字的图片数据集。
import numpy as np
from keras.datasets import mnist
from keras.utils import np_utils
from keras.models import Sequential
from keras.layers import Dense, Activation
from keras.optimizers import RMSprop
np.random.seed(42)
Keras 自身就有 MNIST 这个数据包,再分成训练集和测试集。x 是一张张图片,y 是每张图片对应的标签,即它是哪个数字。
输入的 x 变成 60,000*784 的数据,然后除以 255 进行标准化,因为每个像素都是在 0 到 255 之间的,标准化之后就变成了 0 到 1 之间。
对于 y,要用到 Keras 改造的 numpy 的一个函数 np_utils.to_categorical,把 y 变成了 one-hot 的形式,即之前 y 是一个数值, 在 0-9 之间,现在是一个大小为 10 的向量,它属于哪个数字,就在哪个位置为 1,其他位置都是 0。np_utils.to_categorical将类别向量(从0到nb_classes的整数向量)映射为二值类别矩阵, 用于应用到以categorical_crossentropy为目标函数的模型中.
(X_train, y_train),(X_test,y_test) = mnist.load_data() #返回两个元组
X_train = X_train.reshape(X_train.shape[0],-1)/255 #归一化
X_test = X_test.reshape(X_test.shape[0],-1)/255
y_train = np_utils.to_categorical(y_train,num_classes=10) #to_categorical就是将类别向量转换为二进制(只有0和1)的矩阵类型表示。其表现为将原有的类别向量转换为独热编码的形式
y_test = np_utils.to_categorical(y_test,num_classes=10)
(1)models.Sequential,用来一层一层一层的去建立神经层;
(2)layers.Dense 意思是这个神经层是全连接层。
(3)layers.Activation 激励函数。
(4)optimizers.RMSprop 优化器采用 RMSprop,加速神经网络训练方法。
在回归网络中用到的是 model.add 一层一层添加神经层,今天的方法是直接在模型的里面加多个神经层。好比一个水管,一段一段的,数据是从上面一段掉到下面一段,再掉到下面一段。
第一段就是加入 Dense 神经层。32 是输出的维度,784 是输入的维度。 第一层传出的数据有 32 个 feature,传给激励单元,激励函数用到的是 relu 函数。 经过激励函数之后,就变成了非线性的数据。 然后再把这个数据传给下一个神经层,这个 Dense 我们定义它有 10 个输出的 feature。同样的,此处不需要再定义输入的维度,因为它接收的是上一层的输出。 接下来再输入给下面的 softmax 函数,用来分类。
接下来用 RMSprop 作为优化器,它的参数包括学习率等,可以通过修改这些参数来看一下模型的效果。
model = Sequential([
Dense(32,input_dim=784),
Activation('relu'), #非线性化
Dense(10), #输入32,输出10
Activation('softmax')
])
rmsprop = RMSprop(lr=0.001,rho=0.9,epsilon=1e-8,decay=0.0) #RMSProp 优化器,建议使用优化器的默认参数 (除了学习率 lr,它可以被自由调节)
接下来用 model.compile 激励神经网络。
优化器,可以是默认的,也可以是我们在上一步定义的。 损失函数,分类和回归问题的不一样,用的是交叉熵。 metrics,里面可以放入需要计算的 cost,accuracy,score 等。
model.compile(optimizer=rmsprop,
loss='categorical_crossentropy',
metrics=['accuracy'])
print('Training.................')
model.fit(X_train, y_train, epochs=2, batch_size=32) #训练
print('\nTesting')
loss, accuracy = model.evaluate(X_test, y_test) #测试
print('test loss:',loss)
print('test accuracy:',accuracy)