【MXNet】（十四）：多层感知机的简单实现

多层感知机就是含有至少一个隐藏层的由全连接层组成的神经网络，且每个隐藏层的输出通过激活函数进行变换。

常用的激活函数有RELU函数，

sigmoid函数，

tanh函数，

下面来实现一个含有一个隐藏层的多层感知机。

首先导入包，

from mxnet import nd
from mxnet.gluon import loss as gloss

数据集还是使用Fashion-MNIST数据集，具体步骤请参考链接：【MXNet】（十一）：Fashion-MNIST数据集。

下面定义好模型参数，

num_inputs, num_outputs, num_hiddens = 784, 10, 256

W1 = nd.random.normal(scale=0.01, shape=(num_inputs, num_hiddens))
b1 = nd.zeros(num_hiddens)
W2 = nd.random.normal(scale=0.01, shape=(num_hiddens, num_outputs))
b2 = nd.zeros(num_outputs)
params = [W1, b1, W2, b2]

for param in params:
    param.attach_grad()

定义激活函数，

def relu(X):
    return nd.maximum(X, 0)

定义模型，

def net(X):
    X = X.reshape((-1, num_inputs))
    H = relu(nd.dot(X, W1) + b1)
    return nd.dot(H, W2) + b2

定义损失函数，

loss = gloss.SoftmaxCrossEntropyLoss()

开始训练，train()函数的定义请参考链接 【MXNet】（十二）：实现一个简单的softmax回归。

num_epochs, lr = 5, 0.5
train(net, train_iter, test_iter, loss, num_epochs, batch_size, params, lr)