深度学习Java类库deeplearning4j 学习笔记-MNIST手写数字分类问题

deeplearning4j

这是一个用Java实现的深度学习类库。
网址： https://deeplearning4j.org

问题和数据集

Minist是一个每个学过机器学习的童鞋都熟悉的类库。这个数据集包含70,000个手写数字的图片。每张图片为28*28像素。其中包含60,000个训练数据和10,000个测试数据。图中给出了一些样例图片。

每个数据都包含一张图片，以及这张图片上的数字是几。我们希望得到这样一个工具，输入是一张图片，输出是识别出的这个图片的数字。

下面会用深度学习的方法对其进行训练和测试。

深度学习网络的结构

我们知道一个深度神经网络是由多个层构成的，这个案例中使用三层深度学习网络。输入层，隐含层（Hidden layer）和输出层。

输入层的输入为图片的原始像素数据，输入层的节点个数应该与输入数据的维度相关。在这个数据集中，每个图片是28*28的，所以输入层也就有28*28个节点。

输出层为数据的识别结果。因为手写输入有十个，所以输出层的结点个数应该为10个。
隐含层有多少个节点是由我们根据经验定义的，本例中定义为1000个。

使用DL4J实现这个类库

这个类库提供一种简便的方法来实现层的定义。它提供一个NeuralNetConfiguration.Builder类来配置整个神经网络，使用DenseLayer.Builder来配置每个层的信息。

上面说的三层神经网络，其实只有两层。 第一层的输入时原始数据，输出是隐含数据，第二层输入时隐含数据，输出是分类结果。

创建这个层的核心代码如下：

        MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder()
                .seed(rngSeed) //include a random seed for reproducibility
                // use stochastic gradient descent as an optimization algorithm
                .optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT)
                .iterations(1)
                .learningRate(0.006) //specify the learning rate
                .updater(Updater.NESTEROVS).momentum(0.9) //specify the rate of change of the learning rate.
                .regularization(true).l2(1e-4)
                .list()
                .layer(0, new DenseLayer.Builder() //create the first, input layer with xavier initialization
                        .nIn(numRows * numColumns)
                        .nOut(1000)
                        .activation(Activation.RELU)
                        .weightInit(WeightInit.XAVIER)
                        .build())
                .layer(1, new OutputLayer.Builder(LossFunction.NEGATIVELOGLIKELIHOOD) //create hidden layer
                        .nIn(1000)
                        .nOut(outputNum)
                        .activation(Activation.SOFTMAX)
                        .weightInit(WeightInit.XAVIER)
                        .build())
                .pretrain(false).backprop(true) //use backpropagation to adjust weights
                .build();

其中NeuralNetConfiguration.Builder提供很多方法来配置各种参数。

它使用seed函数配置随机数的种子。为什么要配置随机数的种子呢？ 因为神经网络使用随机数来初始化每个参数的值，如果随机数种子不一样，那么初始的参数值就不确定，那么每一次执行得到的结果都可能有细微差别。设定了随机数的种子，就能丝毫不差的重复每次执行。（每次执行得到的结果完全相同），使得实验结构都是可验证的。

它使用optimizationAlgo函数指定该层使用的最优化算法，这里使用SGD梯度下降法。

iterations指定经过几次迭代，会将输出数据传递给下一层。

learningRate是学习率。

updater指定学习率的改变函数。

regularization这个函数实现规则化，防止国际和的出现。

list将上面的配置复制到每一层的配置中。

DenseLayer.Builder指定每一层的配置。这个例子中使用了2层。第一层输入为原始新昂素数据，输出为隐含数据。其输入节点个数为28*28，使用nIn函数来设定这个值，输出由nOut指定为1000个。
第二层输入为第一层的输出个数1000个，输出为10个。

activation指定激活函数 为RELU。

weightInit指定权重初始化方法。

build函数使用上面配置的信息构建一个层。

NeuralNetConfiguration.Builder的layer方法用来添加一个层。

第二个层是输出层，所以采用了SOFTMAX的激活函数。

pretrain设置预训练为不适用（false），设置backprop为使用。 最后的build根据上面的配置构建整个神经网络。

样例程序中的数据集

样例中给出了MnistDataSetIterator类用以提供数据。

        //Get the DataSetIterators:
        DataSetIterator mnistTrain = new MnistDataSetIterator(batchSize, true, rngSeed);
        DataSetIterator mnistTest = new MnistDataSetIterator(batchSize, false, rngSeed);

其中 batchSize为批次大小。为了能高效的进行训练，需要使用批次训练的方法。就是说每次训练时不适用所有数据，而是使用其中一小部分数据，下一次训练在才有第二批数据，以此类推。

第二个参数应该是指定是否为训练集。第三个参数是随机数种子。

作者和版权

作者 杨同峰 ，作者保留所有权利, 允许该文章自由转载，但请保留此版权信息。

cite: https://deeplearning4j.org/mnist-for-beginners.html

完整代码

package org.deeplearning4j.examples.feedforward.mnist;


import org.nd4j.linalg.activations.Activation;
import org.nd4j.linalg.dataset.api.iterator.DataSetIterator;
import org.deeplearning4j.datasets.iterator.impl.MnistDataSetIterator;
import org.deeplearning4j.eval.Evaluation;
import org.deeplearning4j.nn.api.OptimizationAlgorithm;
import org.deeplearning4j.nn.conf.MultiLayerConfiguration;
import org.deeplearning4j.nn.conf.NeuralNetConfiguration;
import org.deeplearning4j.nn.conf.Updater;
import org.deeplearning4j.nn.conf.layers.DenseLayer;
import org.deeplearning4j.nn.conf.layers.OutputLayer;
import org.deeplearning4j.nn.multilayer.MultiLayerNetwork;
import org.deeplearning4j.nn.weights.WeightInit;
import org.deeplearning4j.optimize.listeners.ScoreIterationListener;
import org.nd4j.linalg.api.ndarray.INDArray;
import org.nd4j.linalg.dataset.DataSet;
import org.nd4j.linalg.lossfunctions.LossFunctions.LossFunction;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;


/**A Simple Multi Layered Perceptron (MLP) applied to digit classification for
 * the MNIST Dataset (http://yann.lecun.com/exdb/mnist/).
 *
 * This file builds one input layer and one hidden layer.
 *
 * The input layer has input dimension of numRows*numColumns where these variables indicate the
 * number of vertical and horizontal pixels in the image. This layer uses a rectified linear unit
 * (relu) activation function. The weights for this layer are initialized by using Xavier initialization
 * (https://prateekvjoshi.com/2016/03/29/understanding-xavier-initialization-in-deep-neural-networks/)
 * to avoid having a steep learning curve. This layer will have 1000 output signals to the hidden layer.
 *
 * The hidden layer has input dimensions of 1000. These are fed from the input layer. The weights
 * for this layer is also initialized using Xavier initialization. The activation function for this
 * layer is a softmax, which normalizes all the 10 outputs such that the normalized sums
 * add up to 1. The highest of these normalized values is picked as the predicted class.
 *
 */
public class MLPMnistSingleLayerExample {

    private static Logger log = LoggerFactory.getLogger(MLPMnistSingleLayerExample.class);

    public static void main(String[] args) throws Exception {
        //number of rows and columns in the input pictures
        final int numRows = 28;
        final int numColumns = 28;
        int outputNum = 10; // number of output classes
        int batchSize = 128; // batch size for each epoch
        int rngSeed = 123; // random number seed for reproducibility
        int numEpochs = 15; // number of epochs to perform

        //Get the DataSetIterators:
        DataSetIterator mnistTrain = new MnistDataSetIterator(batchSize, true, rngSeed);
        DataSetIterator mnistTest = new MnistDataSetIterator(batchSize, false, rngSeed);


        log.info("Build model....");
        MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder()
                .seed(rngSeed) //include a random seed for reproducibility
                // use stochastic gradient descent as an optimization algorithm
                .optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT)
                .iterations(1)
                .learningRate(0.006) //specify the learning rate
                .updater(Updater.NESTEROVS).momentum(0.9) //specify the rate of change of the learning rate.
                .regularization(true).l2(1e-4)
                .list()
                .layer(0, new DenseLayer.Builder() //create the first, input layer with xavier initialization
                        .nIn(numRows * numColumns)
                        .nOut(1000)
                        .activation(Activation.RELU)
                        .weightInit(WeightInit.XAVIER)
                        .build())
                .layer(1, new OutputLayer.Builder(LossFunction.NEGATIVELOGLIKELIHOOD) //create hidden layer
                        .nIn(1000)
                        .nOut(outputNum)
                        .activation(Activation.SOFTMAX)
                        .weightInit(WeightInit.XAVIER)
                        .build())
                .pretrain(false).backprop(true) //use backpropagation to adjust weights
                .build();

        MultiLayerNetwork model = new MultiLayerNetwork(conf);
        model.init();
        //print the score with every 1 iteration
        model.setListeners(new ScoreIterationListener(1));

        log.info("Train model....");
        for( int i=0; i"Evaluate model....");
        Evaluation eval = new Evaluation(outputNum); //create an evaluation object with 10 possible classes
        while(mnistTest.hasNext()){
            DataSet next = mnistTest.next();
            INDArray output = model.output(next.getFeatureMatrix()); //get the networks prediction
            eval.eval(next.getLabels(), output); //check the prediction against the true class
        }

        log.info(eval.stats());
        log.info("****************Example finished********************");

    }

}