tiny-dnn库初识
因为最近的一个模型需要使用C++落地，平时使用的是python，在问google中，发现了tiny-dnn，于是着手去研究下这个库。tiny-dnn是一个C++实现的轻量的深度学习库，里面实现了主流的模型代码框架，如DNN、CNN、RNN。主流模型的示例很完整，示例有手写识别、图片分类等常用的深度学习示例。简单了解下代码组织，我们从两方面去看这个库算很完整了。
1、可以支持自定义的网络结构
static void construct_net(tiny_dnn::network &nn,
tiny_dnn::core::backend_t backend_type) {
// connection table [Y.Lecun, 1998 Table.1]
#define O true
#define X false
// clang-format off
static const bool tbl[] = {
O, X, X, X, O, O, O, X, X, O, O, O, O, X, O, O,
O, O, X, X, X, O, O, O, X, X, O, O, O, O, X, O,
O, O, O, X, X, X, O, O, O, X, X, O, X, O, O, O,
X, O, O, O, X, X, O, O, O, O, X, X, O, X, O, O,
X, X, O, O, O, X, X, O, O, O, O, X, O, O, X, O,
X, X, X, O, O, O, X, X, O, O, O, O, X, O, O, O
};
// clang-format on
#undef O
#undef X
// construct nets
//
// C : convolution
// S : sub-sampling
// F : fully connected
// clang-format off
using fc = tiny_dnn::layers::fc;
using conv = tiny_dnn::layers::conv;
using ave_pool = tiny_dnn::layers::ave_pool;
using tanh = tiny_dnn::activation::tanh;
using tiny_dnn::core::connection_table;
using padding = tiny_dnn::padding;
nn << conv(32, 32, 5, 1, 6, // C1, 1@32x32-in, 6@28x28-out
padding::valid, true, 1, 1, 1, 1, backend_type)
<< tanh()
<< ave_pool(28, 28, 6, 2) // S2, 6@28x28-in, 6@14x14-out
<< tanh()
<< conv(14, 14, 5, 6, 16, // C3, 6@14x14-in, 16@10x10-out
connection_table(tbl, 6, 16),
padding::valid, true, 1, 1, 1, 1, backend_type)
<< tanh()
<< ave_pool(10, 10, 16, 2) // S4, 16@10x10-in, 16@5x5-out
<< tanh()
<< conv(5, 5, 5, 16, 120, // C5, 16@5x5-in, 120@1x1-out
padding::valid, true, 1, 1, 1, 1, backend_type)
<< tanh()
<< fc(120, 10, true, backend_type) // F6, 120-in, 10-out
<< tanh();
} 从上面的代码看，定义CNN网络结构的过程，并且能够很自由，无论从卷积层定义、传递函数还是池化层，都可以自由去定义，并且是很简单地去定义。
2、激活函数够丰富
activation_layer.h elu_layer.h relu_layer.h sigmoid_layer.h softplus_layer.h tanh_layer.h
asinh_layer.h leaky_relu_layer.h selu_layer.h softmax_layer.h softsign_layer.h tanh_p1m2_layer.h从这些头文件的命令来看，并且确认这些都有实现了，虽然没有完整去验证函数的准确性，但这个库能支持的传递函数足够完成日常的建模或落地的需求了，给个赞。
现在去编译测试下这个库，我编译的环境是ubuntu 16，编译非常简单，编译的步骤如下：
cmake . -DBUILD_EXAMPLES=ON
make编译是有生成example的，看了下里面的目录，里面生成了如下程序：
example_deconv_train
example_mnist_test
benchmarks_all
example_ssd_test
example_cifar_train
example_mnist_quantized_train
example_cifar_test
example_recurrent_addition
example_test_char_rnn
example_train_char_rnn
example_deconv_visual
example_mnist_train
example_sinus_fit里面一看就是训练和测试的程序了。首先上来我们就尝试下mnist示例吧。
./example_mnist_train --data_path /home/linxiaojie1/workspace/dnn/tiny-dnn-master/data --learning_rate 1 --epochs 30 --minibatch_size 16 --backend_type internal
Running with the following parameters:
Data path: /home/linxiaojie1/workspace/dnn/tiny-dnn-master/data
Learning rate: 1
Minibatch size: 16
Number of epochs: 30
Backend type: Internal
load models...
start training
0% 10 20 30 40 50 60 70 80 90 100%
|----|----|----|----|----|----|----|----|----|----|
***************************************************
Epoch 1/30 finished. 149.407s elapsed.
9454/10000
....
....
0% 10 20 30 40 50 60 70 80 90 100%
|----|----|----|----|----|----|----|----|----|----|
end training.
accuracy:98.92% (9892/10000)
* 0 1 2 3 4 5 6 7 8 9
0 976 0 1 0 1 2 5 0 2 1
1 0 1130 0 0 0 0 2 4 0 2
2 1 1 1024 1 1 0 1 7 1 0
3 0 0 1 1001 0 2 1 0 3 0
4 0 0 1 0 970 0 1 0 1 5
5 0 2 0 2 0 886 4 0 1 5
6 1 1 0 0 3 1 942 0 2 0
7 2 1 4 3 0 1 0 1012 2 4
8 0 0 1 1 2 0 2 1 961 2
9 0 0 0 2 5 0 0 4 1 990从上面的结果来看，最终的训练数据的精确率是98.92%。然后我再观察到在example目录中，生成一个名为LeNet-model文件，这就是我们模型的参数文件了。暂时没有深入研究里面的数据及文件的读写方式，先到些吧，后面再深入研究再介绍。