yx2017
yx2017

caffe——模型训练数据的过程



本文主要讲解caffe的整个使用流程，适用于初级入门caffe，通过学习本篇博文，理清项目训练、测试流程。初级教程，高手请绕道。

我们知道，在caffe编译完后，在caffe目录下会生成一个build目录，在build目录下有个tools，这个里面有个可执行文件caffe，如下图所示：


有了这个可执行文件我们就可以进行模型的训练，只需要学会调用这个可执行文件就可以了，这便是最简单的caffe学习，不需要对caffe底层的东西懂太多，只需要会调参数，就可以构建自己的网络，然后调用这个可执行文件就可以进行训练，当然如果你不仅仅是调参数，而且想要更改相关的算法，那就要深入学习caffe的底层函数调用了，这个以后再讲。本篇博文仅适合于刚入门学习caffe，高手请绕道。废话不多说，回归正题：

一、总流程

完成一个简单的自己的网络模型训练预测，主要包含几个步骤：

1、数据格式处理，也就是把我们的图片.jpg,.png等图片以及标注标签,打包在一起，搞成caffe可以直接方便调用的文件。后面我将具体讲解如何打包自己的数据，让caffe进行调用。

2、编写网络结构文件，这个文件的后缀格式是.prototxt。就是编写你的网络有多少层，每一层有多少个特征图，输入、输出……。看个例子，看一下caffe-》example-》mnist-》lenet_train_test.prototxt。这个便是手写字体网络结构文件了，我们需要根据自己的需要学会修改这个文件：

[cpp]  view plain  copy
 
  1. "font-size:18px;">name: "LeNet"  
  2. layer {  
  3.   name: "mnist"  
  4.   type: "Data"  //data层  
  5.   top: "data"  
  6.   top: "label"  
  7.   include {  
  8.     phase: TRAIN   //训练阶段  
  9.   }  
  10.   transform_param {  
  11.     scale: 0.00390625   //对所有的图片归一化到0~1之间，也就是对输入数据全部乘以scale，0.0039= 1/255  
  12.   }  
  13.   data_param {  
  14.     source: "examples/mnist/mnist_train_lmdb"  //训练数据图片路径  
  15.     batch_size: 64    //每次训练采用的图片64张，min-batch  
  16.     backend: LMDB  
  17.   }  
  18. }  
  19. layer {  
  20.   name: "mnist"  
  21.   type: "Data"  
  22.   top: "data"  
  23.   top: "label"  
  24.   include {  
  25.     phase: TEST   //测试  
  26.   }  
  27.   transform_param {  
  28.     scale: 0.00390625  
  29.   }  
  30.   data_param {  
  31.     source: "examples/mnist/mnist_test_lmdb" //测试数据图片路径  
  32.     batch_size: 100  
  33.     backend: LMDB  
  34.   }  
  35. }  
  36. layer {  
  37.   name: "conv1"   //卷积神经网络的第一层，卷积层  
  38.   type: "Convolution"  //这层操作为卷积  
  39.   bottom: "data"   //这一层的前一层是data层  
  40.   top: "conv1"   //  
  41.   param {  
  42.     lr_mult: 1     
  43.   }  
  44.   param {  
  45.     lr_mult: 2  
  46.   }  
  47.   convolution_param {  
  48.     num_output: 20    //定义输出特征图个数  
  49.     kernel_size: 5    //定义卷积核大小  
  50.     stride: 1  
  51.     weight_filler {  
  52.       type: "xavier"  
  53.     }  
  54.     bias_filler {  
  55.       type: "constant"  
  56.     }  
  57.   }  
  58. }  
  59. layer {  
  60.   name: "pool1"  
  61.   type: "Pooling"      //池化层，这一层的操作为池化  
  62.   bottom: "conv1"   //这一层的前面一层名字为：conv1  
  63.   top: "pool1"  
  64.   pooling_param {  
  65.     pool: MAX   //最大池化  
  66.     kernel_size: 2  
  67.     stride: 2  
  68.   }  
  69. }  
  70. layer {  
  71.   name: "conv2"  
  72.   type: "Convolution"  
  73.   bottom: "pool1"  
  74.   top: "conv2"  
  75.   param {  
  76.     lr_mult: 1  
  77.   }  
  78.   param {  
  79.     lr_mult: 2  
  80.   }  
  81.   convolution_param {  
  82.     num_output: 50  
  83.     kernel_size: 5  
  84.     stride: 1  
  85.     weight_filler {  
  86.       type: "xavier"  
  87.     }  
  88.     bias_filler {  
  89.       type: "constant"  
  90.     }  
  91.   }  
  92. }  
  93. layer {  
  94.   name: "pool2"  
  95.   type: "Pooling"  
  96.   bottom: "conv2"  
  97.   top: "pool2"  
  98.   pooling_param {  
  99.     pool: MAX  
  100.     kernel_size: 2  
  101.     stride: 2  
  102.   }  
  103. }  
  104. layer {  
  105.   name: "ip1"  
  106.   type: "InnerProduct"  
  107.   bottom: "pool2"  
  108.   top: "ip1"  
  109.   param {  
  110.     lr_mult: 1  
  111.   }  
  112.   param {  
  113.     lr_mult: 2  
  114.   }  
  115.   inner_product_param {  
  116.     num_output: 500  
  117.     weight_filler {  
  118.       type: "xavier"  
  119.     }  
  120.     bias_filler {  
  121.       type: "constant"  
  122.     }  
  123.   }  
  124. }  
  125. layer {  
  126.   name: "relu1"  
  127.   type: "ReLU"  
  128.   bottom: "ip1"  
  129.   top: "ip1"  
  130. }  
  131. layer {  
  132.   name: "ip2"  
  133.   type: "InnerProduct"  
  134.   bottom: "ip1"  
  135.   top: "ip2"  
  136.   param {  
  137.     lr_mult: 1  
  138.   }  
  139.   param {  
  140.     lr_mult: 2  
  141.   }  
  142.   inner_product_param {  
  143.     num_output: 10  
  144.     weight_filler {  
  145.       type: "xavier"  
  146.     }  
  147.     bias_filler {  
  148.       type: "constant"  
  149.     }  
  150.   }  
  151. }  
  152. layer {  
  153.   name: "accuracy"  
  154.   type: "Accuracy"  
  155.   bottom: "ip2"  
  156.   bottom: "label"  
  157.   top: "accuracy"  
  158.   include {  
  159.     phase: TEST  
  160.   }  
  161. }  
  162. layer {  
  163.   name: "loss"  
  164.   type: "SoftmaxWithLoss"  
  165.   bottom: "ip2"  
  166.   bottom: "label"  
  167.   top: "loss"  
  168. }  

上面的网络结构，定义的data层，就是定义我们输入的训练数据的路径、图片变换等。

3、网络求解文件，这个文件我们喜欢把它取名为：solver.prototxt，这个文件的后缀格式也是.prototxt。这个文件主要包含了一些求解网络，梯度下降参数、迭代次数等参数……，看下手写字体的solver.prototxt文件：

[cpp]  view plain  copy
 
  1. "font-size:18px;">net: "examples/mnist/lenet_train_test.prototxt"  //定义网络结构文件，也就是我们上一步编写的文件  
  2.   
  3. test_iter: 100   
  4.   
  5. test_interval: 500 //每隔500次用测试数据，做一次验证  
  6.   
  7. base_lr: 0.01     //学习率  
  8. momentum: 0.9   //动量参数  
  9. weight_decay: 0.0005   //权重衰减系数  
  10.   
  11. lr_policy: "inv"   //梯度下降的相关优化策略  
  12. gamma: 0.0001  
  13. power: 0.75  
  14.   
  15. display: 100  
  16.   
  17. max_iter: 10000   //最大迭代次数  
  18.   
  19. snapshot: 5000    //每迭代5000次，保存一次结果  
  20. snapshot_prefix: "examples/mnist/lenet" //保存结果路径  
  21.   
  22. solver_mode: GPU   //训练硬件设备选择GPU还是CPU  

这个文件的输入就是我们前面一步定义的网络结构。

4、编写网络求解文件后，我们可以说已经完成了CNN网络的编写。接着我们需要把这个文件，作为caffe的输入参数，调用caffe可执行文件，进行训练就可以了。具体的命令如下：

[cpp]  view plain  copy
 
  1. ./build/tools/caffe train --solver=examples/mnist/lenet_solver.prototxt  

这样就完事了，程序就开始训练了。上面的第一个参数caffe，就是我们在编译caffe，生成的可执行文件：



然后solver就是我们在步骤3编写的solver文件了，只要在ubuntu终端输入上面的命令，就可以开始训练了。

回想一下文件调用过程：首先caffe可执行文件，调用了solver.prototxt文件，而这个文件又调用了网络结构文件lenet_train_test.prototxt，然后lenet_train_test.prototxt文件里面又会调用输入的训练图片数据等。因此我们如果要训练自己的模型，需要备好3个文件：数据文件lmdb(该文件包含寻数据)、网络结构lenet_train_test.prototxt、求解文件solver.prototxt，这几个文件名随便，但是文件后缀格式不要随便乱改。把这三个文件放在同一个目录下，然后在终端输入命令，调用caffe就可以开始训练了。

二、相关细节

1、lmdb数据格式生成

caffe输入训练图片数据我比较喜欢用lmdb格式，好像还有另外一种格式leveldb，这个具体没用过，这里主要讲解lmdb格式数据的制作。其实在caffe-》example-》imagenet文件夹下面的一些脚本文件可以帮助我们快速生产相关的caffe所需的数据。


create_imagenet.sh这个文件可以帮我们快速的生成lmdb的数据格式文件，因此我们只需要把这个脚本文件复制出来，稍作修改，就可以对我们的训练图片、标注文件进行打包为lmdb格式文件了。制作图片的脚本文件如下：

[python]  view plain  copy
 
  1. "font-size:18px;">#!/usr/bin/env sh  
  2. # Create the imagenet lmdb inputs  
  3. # N.B. set the path to the imagenet train + val data dirs  
  4.   
  5. EXAMPLE=.          # 生成模型训练数据文化夹  
  6. TOOLS=../../build/tools                              # caffe的工具库，不用变  
  7. DATA=.                  # python脚步处理后数据路径  
  8.   
  9. TRAIN_DATA_ROOT=train/  #待处理的训练数据图片路径  
  10. VAL_DATA_ROOT=val/      # 带处理的验证数据图片路径  
  11.   
  12.   
  13.   
  14. # Set RESIZE=true to resize the images to 256x256. Leave as false if images have  
  15. # already been resized using another tool.  
  16. RESIZE=true   #图片缩放  
  17. if $RESIZE; then  
  18.   RESIZE_HEIGHT=256  
  19.   RESIZE_WIDTH=256  
  20. else  
  21.   RESIZE_HEIGHT=0  
  22.   RESIZE_WIDTH=0  
  23. fi  
  24.   
  25. if [ ! -d "$TRAIN_DATA_ROOT" ]; then  
  26.   echo "Error: TRAIN_DATA_ROOT is not a path to a directory: $TRAIN_DATA_ROOT"  
  27.   echo "Set the TRAIN_DATA_ROOT variable in create_imagenet.sh to the path" \  
  28.        "where the ImageNet training data is stored."  
  29.   exit 1  
  30. fi  
  31.   
  32. if [ ! -d "$VAL_DATA_ROOT" ]; then  
  33.   echo "Error: VAL_DATA_ROOT is not a path to a directory: $VAL_DATA_ROOT"  
  34.   echo "Set the VAL_DATA_ROOT variable in create_imagenet.sh to the path" \  
  35.        "where the ImageNet validation data is stored."  
  36.   exit 1  
  37. fi  
  38.   
  39. echo "Creating train lmdb..."  
  40.   
  41. GLOG_logtostderr=1 $TOOLS/convert_imageset \  
  42.     --resize_height=$RESIZE_HEIGHT \  
  43.     --resize_width=$RESIZE_WIDTH \  
  44.     --shuffle \  
  45.     $TRAIN_DATA_ROOT \  
  46.     $DATA/train.txt \     #标签训练数据文件  
  47.     $EXAMPLE/train_lmdb  
  48.   
  49. echo "Creating val lmdb..."  
  50.   
  51. GLOG_logtostderr=1 $TOOLS/convert_imageset \  
  52.     --resize_height=$RESIZE_HEIGHT \  
  53.     --resize_width=$RESIZE_WIDTH \  
  54.     --shuffle \  
  55.     $VAL_DATA_ROOT \  
  56.     $DATA/val.txt \    #验证集标签数据  
  57.     $EXAMPLE/val_lmdb  
  58.   
  59. echo "Done."  
同时我们需要制作如下四个文件：

1、文件夹train，用于存放训练图片

2、文件夹val，用于存放验证图片

3、文件train.txt，里面包含这每张图片的名称，及其对应的标签。

[python]  view plain  copy
 
  1. "font-size:18px;">first_batch/train_female/992.jpg    1  
  2. first_batch/train_female/993.jpg    1  
  3. first_batch/train_female/994.jpg    1  
  4. first_batch/train_female/995.jpg    1  
  5. first_batch/train_female/996.jpg    1  
  6. first_batch/train_female/997.jpg    1  
  7. first_batch/train_female/998.jpg    1  
  8. first_batch/train_female/999.jpg    1  
  9. first_batch/train_male/1000.jpg 0  
  10. first_batch/train_male/1001.jpg 0  
  11. first_batch/train_male/1002.jpg 0  
  12. first_batch/train_male/1003.jpg 0  
  13. first_batch/train_male/1004.jpg 0  
  14. first_batch/train_male/1005.jpg 0  
  15. first_batch/train_male/1006.jpg 0  
  16. first_batch/train_male/1007.jpg 0  
  17. first_batch/train_male/1008.jpg 0  

上面的标签编号:1，表示女。标签：0，表示男。

4、文件val.txt，同样这个文件也是保存图片名称及其对应的标签。

这四个文件在上面的脚本文件中，都需要调用到。制作玩后，跑一下上面的脚本文件，就ok了，跑完后，即将生成下面两个文件夹：


文件夹下面有两个对应的文件：


制作完后，要看看文件的大小，有没有问题，如果就几k，那么正常是每做好训练数据，除非你的训练图片就几张。

二、训练

1、直接训练法

[python]  view plain  copy
 
  1. #!/usr/bin/env sh  
  2. TOOLS=../cafferead/build/tools  
  3. $TOOLS/caffe train --solver=gender_solver.prorotxt  -gpu all  #加入 -gpu 选项  

-gpu 可以选择gpu的id号，如果是 -gpu all表示启用所有的GPU进行训练。

2、采用funing-tuning 训练法

[python]  view plain  copy
 
  1. $TOOLS/caffe train --solver=gender_solver.prorotxt -weights gender_net.caffemodel #加入-weights  

加入-weights，这个功能很好用，也经常会用到，因为现在的CNN相关的文献，很多都是在已有的模型基础上，进行fine-tuning，因为我们大部分人都缺少训练数据，不像谷歌、百度这些土豪公司，有很多人专门做数据标注，对于小公司而言，往往缺少标注好的训练数据。因此我们一般使用fine-tuning的方法，在少量数据的情况下，尽可能的提高精度。我们可以使用：-weights 选项，利用已有的模型训练好的参数，作为初始值，进行继续训练。

三、调用Python接口

训练完毕后，我们就可以得到caffe的训练模型了，接着我们的目标就预测，看看结果了。caffe为我们提供了方便调用的Python接口函数，这些都在模块pycaffe里面。因此我们还需要知道如何使用pycaffe，进行测试，查看结果。下面是pycaffe的预测调用使用示例：

[python]  view plain  copy
 
  1. # coding=utf-8  
  2. import os  
  3. import numpy as np  
  4. from matplotlib import pyplot as plt  
  5. import cv2  
  6. import shutil  
  7. import time  
  8.   
  9. #因为RGB和BGR需要调换一下才能显示  
  10. def showimage(im):  
  11.     if im.ndim == 3:  
  12.         im = im[:, :, ::-1]  
  13.     plt.set_cmap('jet')  
  14.     plt.imshow(im)  
  15.     plt.show()  
  16.   
  17. #特征可视化显示，padval用于调整亮度  
  18. def vis_square(data, padsize=1, padval=0):  
  19.     data -= data.min()  
  20.     data /= data.max()  
  21.   
  22.     #因为我们要把某一层的特征图都显示到一个figure上，因此需要计算每个图片占用figure多少比例，以及绘制的位置  
  23.     n = int(np.ceil(np.sqrt(data.shape[0])))  
  24.     padding = ((0, n ** 2 - data.shape[0]), (0, padsize), (0, padsize)) + ((0, 0),) * (data.ndim - 3)  
  25.     data = np.pad(data, padding, mode='constant', constant_values=(padval, padval))  
  26.   
  27.     # tile the filters into an image  
  28.     data = data.reshape((n, n) + data.shape[1:]).transpose((0, 2, 1, 3) + tuple(range(4, data.ndim + 1)))  
  29.     data = data.reshape((n * data.shape[1], n * data.shape[3]) + data.shape[4:])  
  30.   
  31.     showimage(data)  
  32.   
  33.   
  34. #设置caffe源码所在的路径  
  35. caffe_root = '../../../caffe/'  
  36. import sys  
  37. sys.path.insert(0, caffe_root + 'python')  
  38. import caffe  
  39.   
  40.   
  41.   
  42.   
  43. #加载均值文件  
  44. mean_filename='./imagenet_mean.binaryproto'  
  45. proto_data = open(mean_filename, "rb").read()  
  46. a = caffe.io.caffe_pb2.BlobProto.FromString(proto_data)  
  47. mean  = caffe.io.blobproto_to_array(a)[0]  
  48.   
  49. #创建网络，并加载已经训练好的模型文件  
  50. gender_net_pretrained='./caffenet_train_iter_1500.caffemodel'  
  51. gender_net_model_file='./deploy_gender.prototxt'  
  52. gender_net = caffe.Classifier(gender_net_model_file, gender_net_pretrained,mean=mean,  
  53.                        channel_swap=(2,1,0),#RGB通道与BGR  
  54.                        raw_scale=255,#把图片归一化到0~1之间  
  55.                        image_dims=(256, 256))#设置输入图片的大小  
  56.   
  57.   
  58. #预测分类及其可特征视化  
  59. gender_list=['Male','Female']  
  60. input_image = caffe.io.load_image('1.jpg')#读取图片  
  61.   
  62. prediction_gender=gender_net.predict([input_image])#预测图片性别  
  63. #打印我们训练每一层的参数形状  
  64. print 'params:'  
  65. for k, v in gender_net.params.items():  
  66.     print 'weight:'  
  67.     print (k, v[0].data.shape)#在每一层的参数blob中，caffe用vector存储了两个blob变量，用v[0]表示weight  
  68.     print 'b:'  
  69.     print (k, v[1].data.shape)#用v[1]表示偏置参数  
  70. #conv1滤波器可视化  
  71. filters = gender_net.params['conv1'][0].data  
  72. vis_square(filters.transpose(0, 2, 3, 1))  
  73. #conv2滤波器可视化  
  74. '''''filters = gender_net.params['conv2'][0].data 
  75. vis_square(filters[:48].reshape(48**2, 5, 5))'''  
  76. #特征图  
  77. print 'feature maps:'  
  78. for k, v in gender_net.blobs.items():  
  79.     print (k, v.data.shape);  
  80.     feat = gender_net.blobs[k].data[0,0:4]#显示名字为k的网络层,第一张图片所生成的4张feature maps  
  81.     vis_square(feat, padval=1)  
  82.   
  83.   
  84.   
  85.   
  86.   
  87. #显示原图片，以及分类预测结果  
  88. str_gender=gender_list[prediction_gender[0].argmax()]  
  89. print str_gender  
  90.   
  91. plt.imshow(input_image)  
  92. plt.title(str_gender)  
  93. plt.show()  

上面的接口，同时包含了pycaffe加载训练好的模型，进行预测及其特征可视化的调用方法。

caffe——模型训练数据的过程_第1张图片

出现上面的问题是因为，存在的问题可能是：

1、该文件夹下存在生成的东西，需要删除;

2、编写的脚本中，代码之间存在一些不必要或者非法的空格;

本文主要讲解caffe的整个使用流程，适用于初级入门caffe，通过学习本篇博文，理清项目训练、测试流程。初级教程，高手请绕道。

我们知道，在caffe编译完后，在caffe目录下会生成一个build目录，在build目录下有个tools，这个里面有个可执行文件caffe，如下图所示：


有了这个可执行文件我们就可以进行模型的训练，只需要学会调用这个可执行文件就可以了，这便是最简单的caffe学习，不需要对caffe底层的东西懂太多，只需要会调参数，就可以构建自己的网络，然后调用这个可执行文件就可以进行训练，当然如果你不仅仅是调参数，而且想要更改相关的算法，那就要深入学习caffe的底层函数调用了，这个以后再讲。本篇博文仅适合于刚入门学习caffe，高手请绕道。废话不多说，回归正题：

一、总流程

完成一个简单的自己的网络模型训练预测，主要包含几个步骤：

1、数据格式处理，也就是把我们的图片.jpg,.png等图片以及标注标签,打包在一起，搞成caffe可以直接方便调用的文件。后面我将具体讲解如何打包自己的数据，让caffe进行调用。

2、编写网络结构文件，这个文件的后缀格式是.prototxt。就是编写你的网络有多少层，每一层有多少个特征图，输入、输出……。看个例子，看一下caffe-》example-》mnist-》lenet_train_test.prototxt。这个便是手写字体网络结构文件了，我们需要根据自己的需要学会修改这个文件：

[cpp]  view plain  copy
 
  1. "font-size:18px;">name: "LeNet"  
  2. layer {  
  3.   name: "mnist"  
  4.   type: "Data"  //data层  
  5.   top: "data"  
  6.   top: "label"  
  7.   include {  
  8.     phase: TRAIN   //训练阶段  
  9.   }  
  10.   transform_param {  
  11.     scale: 0.00390625   //对所有的图片归一化到0~1之间，也就是对输入数据全部乘以scale，0.0039= 1/255  
  12.   }  
  13.   data_param {  
  14.     source: "examples/mnist/mnist_train_lmdb"  //训练数据图片路径  
  15.     batch_size: 64    //每次训练采用的图片64张，min-batch  
  16.     backend: LMDB  
  17.   }  
  18. }  
  19. layer {  
  20.   name: "mnist"  
  21.   type: "Data"  
  22.   top: "data"  
  23.   top: "label"  
  24.   include {  
  25.     phase: TEST   //测试  
  26.   }  
  27.   transform_param {  
  28.     scale: 0.00390625  
  29.   }  
  30.   data_param {  
  31.     source: "examples/mnist/mnist_test_lmdb" //测试数据图片路径  
  32.     batch_size: 100  
  33.     backend: LMDB  
  34.   }  
  35. }  
  36. layer {  
  37.   name: "conv1"   //卷积神经网络的第一层，卷积层  
  38.   type: "Convolution"  //这层操作为卷积  
  39.   bottom: "data"   //这一层的前一层是data层  
  40.   top: "conv1"   //  
  41.   param {  
  42.     lr_mult: 1     
  43.   }  
  44.   param {  
  45.     lr_mult: 2  
  46.   }  
  47.   convolution_param {  
  48.     num_output: 20    //定义输出特征图个数  
  49.     kernel_size: 5    //定义卷积核大小  
  50.     stride: 1  
  51.     weight_filler {  
  52.       type: "xavier"  
  53.     }  
  54.     bias_filler {  
  55.       type: "constant"  
  56.     }  
  57.   }  
  58. }  
  59. layer {  
  60.   name: "pool1"  
  61.   type: "Pooling"      //池化层，这一层的操作为池化  
  62.   bottom: "conv1"   //这一层的前面一层名字为：conv1  
  63.   top: "pool1"  
  64.   pooling_param {  
  65.     pool: MAX   //最大池化  
  66.     kernel_size: 2  
  67.     stride: 2  
  68.   }  
  69. }  
  70. layer {  
  71.   name: "conv2"  
  72.   type: "Convolution"  
  73.   bottom: "pool1"  
  74.   top: "conv2"  
  75.   param {  
  76.     lr_mult: 1  
  77.   }  
  78.   param {  
  79.     lr_mult: 2  
  80.   }  
  81.   convolution_param {  
  82.     num_output: 50  
  83.     kernel_size: 5  
  84.     stride: 1  
  85.     weight_filler {  
  86.       type: "xavier"  
  87.     }  
  88.     bias_filler {  
  89.       type: "constant"  
  90.     }  
  91.   }  
  92. }  
  93. layer {  
  94.   name: "pool2"  
  95.   type: "Pooling"  
  96.   bottom: "conv2"  
  97.   top: "pool2"  
  98.   pooling_param {  
  99.     pool: MAX  
  100.     kernel_size: 2  
  101.     stride: 2  
  102.   }  
  103. }  
  104. layer {  
  105.   name: "ip1"  
  106.   type: "InnerProduct"  
  107.   bottom: "pool2"  
  108.   top: "ip1"  
  109.   param {  
  110.     lr_mult: 1  
  111.   }  
  112.   param {  
  113.     lr_mult: 2  
  114.   }  
  115.   inner_product_param {  
  116.     num_output: 500  
  117.     weight_filler {  
  118.       type: "xavier"  
  119.     }  
  120.     bias_filler {  
  121.       type: "constant"  
  122.     }  
  123.   }  
  124. }  
  125. layer {  
  126.   name: "relu1"  
  127.   type: "ReLU"  
  128.   bottom: "ip1"  
  129.   top: "ip1"  
  130. }  
  131. layer {  
  132.   name: "ip2"  
  133.   type: "InnerProduct"  
  134.   bottom: "ip1"  
  135.   top: "ip2"  
  136.   param {  
  137.     lr_mult: 1  
  138.   }  
  139.   param {  
  140.     lr_mult: 2  
  141.   }  
  142.   inner_product_param {  
  143.     num_output: 10  
  144.     weight_filler {  
  145.       type: "xavier"  
  146.     }  
  147.     bias_filler {  
  148.       type: "constant"  
  149.     }  
  150.   }  
  151. }  
  152. layer {  
  153.   name: "accuracy"  
  154.   type: "Accuracy"  
  155.   bottom: "ip2"  
  156.   bottom: "label"  
  157.   top: "accuracy"  
  158.   include {  
  159.     phase: TEST  
  160.   }  
  161. }  
  162. layer {  
  163.   name: "loss"  
  164.   type: "SoftmaxWithLoss"  
  165.   bottom: "ip2"  
  166.   bottom: "label"  
  167.   top: "loss"  
  168. }  

上面的网络结构，定义的data层，就是定义我们输入的训练数据的路径、图片变换等。

3、网络求解文件，这个文件我们喜欢把它取名为：solver.prototxt，这个文件的后缀格式也是.prototxt。这个文件主要包含了一些求解网络，梯度下降参数、迭代次数等参数……，看下手写字体的solver.prototxt文件：

[cpp]  view plain  copy
 
  1. "font-size:18px;">net: "examples/mnist/lenet_train_test.prototxt"  //定义网络结构文件，也就是我们上一步编写的文件  
  2.   
  3. test_iter: 100   
  4.   
  5. test_interval: 500 //每隔500次用测试数据，做一次验证  
  6.   
  7. base_lr: 0.01     //学习率  
  8. momentum: 0.9   //动量参数  
  9. weight_decay: 0.0005   //权重衰减系数  
  10.   
  11. lr_policy: "inv"   //梯度下降的相关优化策略  
  12. gamma: 0.0001  
  13. power: 0.75  
  14.   
  15. display: 100  
  16.   
  17. max_iter: 10000   //最大迭代次数  
  18.   
  19. snapshot: 5000    //每迭代5000次，保存一次结果  
  20. snapshot_prefix: "examples/mnist/lenet" //保存结果路径  
  21.   
  22. solver_mode: GPU   //训练硬件设备选择GPU还是CPU  

这个文件的输入就是我们前面一步定义的网络结构。

4、编写网络求解文件后，我们可以说已经完成了CNN网络的编写。接着我们需要把这个文件，作为caffe的输入参数，调用caffe可执行文件，进行训练就可以了。具体的命令如下：

[cpp]  view plain  copy
 
  1. ./build/tools/caffe train --solver=examples/mnist/lenet_solver.prototxt  

这样就完事了，程序就开始训练了。上面的第一个参数caffe，就是我们在编译caffe，生成的可执行文件：



然后solver就是我们在步骤3编写的solver文件了，只要在ubuntu终端输入上面的命令，就可以开始训练了。

回想一下文件调用过程：首先caffe可执行文件，调用了solver.prototxt文件，而这个文件又调用了网络结构文件lenet_train_test.prototxt，然后lenet_train_test.prototxt文件里面又会调用输入的训练图片数据等。因此我们如果要训练自己的模型，需要备好3个文件：数据文件lmdb(该文件包含寻数据)、网络结构lenet_train_test.prototxt、求解文件solver.prototxt，这几个文件名随便，但是文件后缀格式不要随便乱改。把这三个文件放在同一个目录下，然后在终端输入命令，调用caffe就可以开始训练了。

二、相关细节

1、lmdb数据格式生成

caffe输入训练图片数据我比较喜欢用lmdb格式，好像还有另外一种格式leveldb，这个具体没用过，这里主要讲解lmdb格式数据的制作。其实在caffe-》example-》imagenet文件夹下面的一些脚本文件可以帮助我们快速生产相关的caffe所需的数据。


create_imagenet.sh这个文件可以帮我们快速的生成lmdb的数据格式文件，因此我们只需要把这个脚本文件复制出来，稍作修改，就可以对我们的训练图片、标注文件进行打包为lmdb格式文件了。制作图片的脚本文件如下：

[python]  view plain  copy
 
  1. "font-size:18px;">#!/usr/bin/env sh  
  2. # Create the imagenet lmdb inputs  
  3. # N.B. set the path to the imagenet train + val data dirs  
  4.   
  5. EXAMPLE=.          # 生成模型训练数据文化夹  
  6. TOOLS=../../build/tools                              # caffe的工具库，不用变  
  7. DATA=.                  # python脚步处理后数据路径  
  8.   
  9. TRAIN_DATA_ROOT=train/  #待处理的训练数据图片路径  
  10. VAL_DATA_ROOT=val/      # 带处理的验证数据图片路径  
  11.   
  12.   
  13.   
  14. # Set RESIZE=true to resize the images to 256x256. Leave as false if images have  
  15. # already been resized using another tool.  
  16. RESIZE=true   #图片缩放  
  17. if $RESIZE; then  
  18.   RESIZE_HEIGHT=256  
  19.   RESIZE_WIDTH=256  
  20. else  
  21.   RESIZE_HEIGHT=0  
  22.   RESIZE_WIDTH=0  
  23. fi  
  24.   
  25. if [ ! -d "$TRAIN_DATA_ROOT" ]; then  
  26.   echo "Error: TRAIN_DATA_ROOT is not a path to a directory: $TRAIN_DATA_ROOT"  
  27.   echo "Set the TRAIN_DATA_ROOT variable in create_imagenet.sh to the path" \  
  28.        "where the ImageNet training data is stored."  
  29.   exit 1  
  30. fi  
  31.   
  32. if [ ! -d "$VAL_DATA_ROOT" ]; then  
  33.   echo "Error: VAL_DATA_ROOT is not a path to a directory: $VAL_DATA_ROOT"  
  34.   echo "Set the VAL_DATA_ROOT variable in create_imagenet.sh to the path" \  
  35.        "where the ImageNet validation data is stored."  
  36.   exit 1  
  37. fi  
  38.   
  39. echo "Creating train lmdb..."  
  40.   
  41. GLOG_logtostderr=1 $TOOLS/convert_imageset \  
  42.     --resize_height=$RESIZE_HEIGHT \  
  43.     --resize_width=$RESIZE_WIDTH \  
  44.     --shuffle \  
  45.     $TRAIN_DATA_ROOT \  
  46.     $DATA/train.txt \     #标签训练数据文件  
  47.     $EXAMPLE/train_lmdb  
  48.   
  49. echo "Creating val lmdb..."  
  50.   
  51. GLOG_logtostderr=1 $TOOLS/convert_imageset \  
  52.     --resize_height=$RESIZE_HEIGHT \  
  53.     --resize_width=$RESIZE_WIDTH \  
  54.     --shuffle \  
  55.     $VAL_DATA_ROOT \  
  56.     $DATA/val.txt \    #验证集标签数据  
  57.     $EXAMPLE/val_lmdb  
  58.   
  59. echo "Done."  
同时我们需要制作如下四个文件：

1、文件夹train，用于存放训练图片

2、文件夹val，用于存放验证图片

3、文件train.txt，里面包含这每张图片的名称，及其对应的标签。

[python]  view plain  copy
 
  1. "font-size:18px;">first_batch/train_female/992.jpg    1  
  2. first_batch/train_female/993.jpg    1  
  3. first_batch/train_female/994.jpg    1  
  4. first_batch/train_female/995.jpg    1  
  5. first_batch/train_female/996.jpg    1  
  6. first_batch/train_female/997.jpg    1  
  7. first_batch/train_female/998.jpg    1  
  8. first_batch/train_female/999.jpg    1  
  9. first_batch/train_male/1000.jpg 0  
  10. first_batch/train_male/1001.jpg 0  
  11. first_batch/train_male/1002.jpg 0  
  12. first_batch/train_male/1003.jpg 0  
  13. first_batch/train_male/1004.jpg 0  
  14. first_batch/train_male/1005.jpg 0  
  15. first_batch/train_male/1006.jpg 0  
  16. first_batch/train_male/1007.jpg 0  
  17. first_batch/train_male/1008.jpg 0  

上面的标签编号:1，表示女。标签：0，表示男。

4、文件val.txt，同样这个文件也是保存图片名称及其对应的标签。

这四个文件在上面的脚本文件中，都需要调用到。制作玩后，跑一下上面的脚本文件，就ok了，跑完后，即将生成下面两个文件夹：


文件夹下面有两个对应的文件：


制作完后，要看看文件的大小，有没有问题，如果就几k，那么正常是每做好训练数据，除非你的训练图片就几张。

二、训练

1、直接训练法

[python]  view plain  copy
 
  1. #!/usr/bin/env sh  
  2. TOOLS=../cafferead/build/tools  
  3. $TOOLS/caffe train --solver=gender_solver.prorotxt  -gpu all  #加入 -gpu 选项  

-gpu 可以选择gpu的id号，如果是 -gpu all表示启用所有的GPU进行训练。

2、采用funing-tuning 训练法

[python]  view plain  copy
 
  1. $TOOLS/caffe train --solver=gender_solver.prorotxt -weights gender_net.caffemodel #加入-weights  

加入-weights，这个功能很好用，也经常会用到，因为现在的CNN相关的文献，很多都是在已有的模型基础上，进行fine-tuning，因为我们大部分人都缺少训练数据，不像谷歌、百度这些土豪公司，有很多人专门做数据标注，对于小公司而言，往往缺少标注好的训练数据。因此我们一般使用fine-tuning的方法，在少量数据的情况下，尽可能的提高精度。我们可以使用：-weights 选项，利用已有的模型训练好的参数，作为初始值，进行继续训练。

三、调用Python接口

训练完毕后，我们就可以得到caffe的训练模型了，接着我们的目标就预测，看看结果了。caffe为我们提供了方便调用的Python接口函数，这些都在模块pycaffe里面。因此我们还需要知道如何使用pycaffe，进行测试，查看结果。下面是pycaffe的预测调用使用示例：

[python]  view plain  copy
 
  1. # coding=utf-8  
  2. import os  
  3. import numpy as np  
  4. from matplotlib import pyplot as plt  
  5. import cv2  
  6. import shutil  
  7. import time  
  8.   
  9. #因为RGB和BGR需要调换一下才能显示  
  10. def showimage(im):  
  11.     if im.ndim == 3:  
  12.         im = im[:, :, ::-1]  
  13.     plt.set_cmap('jet')  
  14.     plt.imshow(im)  
  15.     plt.show()  
  16.   
  17. #特征可视化显示，padval用于调整亮度  
  18. def vis_square(data, padsize=1, padval=0):  
  19.     data -= data.min()  
  20.     data /= data.max()  
  21.   
  22.     #因为我们要把某一层的特征图都显示到一个figure上，因此需要计算每个图片占用figure多少比例，以及绘制的位置  
  23.     n = int(np.ceil(np.sqrt(data.shape[0])))  
  24.     padding = ((0, n ** 2 - data.shape[0]), (0, padsize), (0, padsize)) + ((0, 0),) * (data.ndim - 3)  
  25.     data = np.pad(data, padding, mode='constant', constant_values=(padval, padval))  
  26.   
  27.     # tile the filters into an image  
  28.     data = data.reshape((n, n) + data.shape[1:]).transpose((0, 2, 1, 3) + tuple(range(4, data.ndim + 1)))  
  29.     data = data.reshape((n * data.shape[1], n * data.shape[3]) + data.shape[4:])  
  30.   
  31.     showimage(data)  
  32.   
  33.   
  34. #设置caffe源码所在的路径  
  35. caffe_root = '../../../caffe/'  
  36. import sys  
  37. sys.path.insert(0, caffe_root + 'python')  
  38. import caffe  
  39.   
  40.   
  41.   
  42.   
  43. #加载均值文件  
  44. mean_filename='./imagenet_mean.binaryproto'  
  45. proto_data = open(mean_filename, "rb").read()  
  46. a = caffe.io.caffe_pb2.BlobProto.FromString(proto_data)  
  47. mean  = caffe.io.blobproto_to_array(a)[0]  
  48.   
  49. #创建网络，并加载已经训练好的模型文件  
  50. gender_net_pretrained='./caffenet_train_iter_1500.caffemodel'  
  51. gender_net_model_file='./deploy_gender.prototxt'  
  52. gender_net = caffe.Classifier(gender_net_model_file, gender_net_pretrained,mean=mean,  
  53.                        channel_swap=(2,1,0),#RGB通道与BGR  
  54.                        raw_scale=255,#把图片归一化到0~1之间  
  55.                        image_dims=(256, 256))#设置输入图片的大小  
  56.   
  57.   
  58. #预测分类及其可特征视化  
  59. gender_list=['Male','Female']  
  60. input_image = caffe.io.load_image('1.jpg')#读取图片  
  61.   
  62. prediction_gender=gender_net.predict([input_image])#预测图片性别  
  63. #打印我们训练每一层的参数形状  
  64. print 'params:'  
  65. for k, v in gender_net.params.items():  
  66.     print 'weight:'  
  67.     print (k, v[0].data.shape)#在每一层的参数blob中，caffe用vector存储了两个blob变量，用v[0]表示weight  
  68.     print 'b:'  
  69.     print (k, v[1].data.shape)#用v[1]表示偏置参数  
  70. #conv1滤波器可视化  
  71. filters = gender_net.params['conv1'][0].data  
  72. vis_square(filters.transpose(0, 2, 3, 1))  
  73. #conv2滤波器可视化  
  74. '''''filters = gender_net.params['conv2'][0].data 
  75. vis_square(filters[:48].reshape(48**2, 5, 5))'''  
  76. #特征图  
  77. print 'feature maps:'  
  78. for k, v in gender_net.blobs.items():  
  79.     print (k, v.data.shape);  
  80.     feat = gender_net.blobs[k].data[0,0:4]#显示名字为k的网络层,第一张图片所生成的4张feature maps  
  81.     vis_square(feat, padval=1)  
  82.   
  83.   
  84.   
  85.   
  86.   
  87. #显示原图片，以及分类预测结果  
  88. str_gender=gender_list[prediction_gender[0].argmax()]  
  89. print str_gender  
  90.   
  91. plt.imshow(input_image)  
  92. plt.title(str_gender)  
  93. plt.show()  

上面的接口，同时包含了pycaffe加载训练好的模型，进行预测及其特征可视化的调用方法。

caffe——模型训练数据的过程_第2张图片

出现上面的问题是因为，存在的问题可能是：

1、该文件夹下存在生成的东西，需要删除;

2、编写的脚本中，代码之间存在一些不必要或者非法的空格;

你可能感兴趣的:(caffe)

  • 深度学习框架 人工智能操作系统 训练&前向推理 PyTorch Tensorflow MindSpore caffe 张量加速引擎TBE 深度学习编译器 多面体 polyhedral AI集群框架 EwenWanW 深度学习人工智能pytorch深度学习编译器
    深度学习框架人工智能操作系统训练&前向推理深度学习框架发展到今天，目前在架构上大体已经基本上成熟并且逐渐趋同。无论是国外的Tensorflow、PyTorch，亦或是国内最近开源的MegEngine、MindSpore，目前基本上都是支持EagerMode和GraphMode两种模式。AI嵌入式框架OneFlow&清华计图Jittor&华为深度学习框架MindSpore&旷视深度学习框架MegEn
  • Caffeine 与 Guava Cache 雨季里的向日葵 java
    一、概要1.1背景在项目开发中，为提升系统性能，减少IO开销，本地缓存是必不可少的。最常见的本地缓存是Guava和Caffeine，Caffeine是基于GoogleGuavaCache设计经验改进的结果，相较于Guava在性能和命中率上更具有效率。1.2应用场景愿意消耗一些内存空间来提升速度预料到某些键会被多次查询缓存中存放的数据总量不会超出内存容量二、GuavaCache2.1GuavaCac
  • OSError: [WinError 126] 找不到指定的模块---caffe2_detectron_ops_gpu.dll 努力的小柚 python运行问题pythonpytorch
    代码复现记录：问题：OSError:[WinError126]找不到指定的模块。Errorloading"C:\Anaconda\Anaconda3\envs\TIN\lib\site-packages\torch\lib\caffe2_detectron_ops_gpu.dll"oroneofitsdependencies.在搜索很多关于无法查找到caffe2_detectron_ops_gpu
  • caffe/PyTorch/TensorFlow 在Jupyter Notebook GPU中运用 俊俏的萌妹纸 caffe人工智能深度学习
    在JupyterNotebook中使用Caffe框架并利用GPU加速，可以实现多种效果和目的，主要集中在深度学习领域。以下是一些主要的应用场景：快速训练模型：GPU加速可以显著提高模型训练的速度。对于大型数据集和复杂的神经网络结构，使用GPU可以大大减少训练时间。实时数据增强：在训练过程中，可以实时地对输入数据进行变换和增强，以提高模型的泛化能力。GPU加速使得这些操作更加高效。大规模数据处理：深
  • Linux下Caffe、Docker、Tensorflow、PyTorch环境搭建(CentOS 7) SnailTyan
    文章作者：Tyan博客：noahsnail.com|CSDN|注：模型的训练、测试、部署都可以通过Docker环境完成，环境问题会更少。1.CUDA8.0安装CUDA8.0Configenvvariables#CUDAPATHexportPATH="/usr/local/cuda-8.0/bin:$PATH"#CUDALDLIBRARY_PATHexportLD_LIBRARY_PATH="/us
  • JVM级缓存本地缓存Caffeine 旺仔爱Java JVM专题jvmJVM缓存本地缓存CaffeineGuavaCache
    JVM级缓存本地缓存Caffeine和GuavaCache前言一、创建缓存的代码逻辑二、Caffeine的优化方面淘汰算法W-TinyLFU三、Caffeine的业务使用总结前言最新的Java面试题，技术栈涉及Java基础、集合、多线程、Mysql、分布式、Spring全家桶、MyBatis、Dubbo、缓存、消息队列、Linux…等等，会持续更新。一、创建缓存的代码逻辑Caffeine：publ
  • 面试redis篇-04缓存雪崩 卡搜偶 缓存面试redis
    原理缓存雪崩：是指在同一时段大量的缓存key同时失效或者Redis服务宕机，导致大量请求到达数据库，带来巨大压力。解决方案：给不同的Key的TTL添加随机值利用Redis集群提高服务的可用性（哨兵模式、集群模式）给缓存业务添加降级限流策略（ngxin或springcloudgateway）给业务添加多级缓存（Guava或Caffeine）问答面试官：什么是缓存雪崩?怎么解决?回答：缓存雪崩意思是设
  • 深度学习主流开源框架：Caffe、TensorFlow、Pytorch、Theano、Keras、MXNet、Chainer seasonsyy 深度学习小知识深度学习开源框架pytorch
    2.6深度学习主流开源框架表2.1深度学习主流框架参数对比框架关键词总结框架关键词基本数据结构（都是高维数组）Caffe“在工业中应用较为广泛”，“编译安装麻烦一点”BlobTensorFlow“安装简单pip”TensorPytorch“定位：快速实验研究”，“简单”，“灵活”TensorTheanoד用于处理大规模神经网络的训练”，“不支持移动设备”，“不能应用于工业环境”，“编译复杂模型时
  • MMsegmentation-随机初始化 SatVision炼金士 mmalb-炼金术python
    系列文章目录文章目录系列文章目录前言一、初始化单个模块二、初始化多个模块总结前言mmlab下游分支调用权重随机初始化使用参考mmengine的说明文档mmengine支持模型初始化方法包括：BaseInit,Caffe2XavierInit,ConstantInit,KaimingInit,NormalInit,PretrainedInit,TruncNormalInit,UniformInit,
  • 解决：源码安装caffe时遇到libcudnn.so: file not recognized问题 Gracie丹妮
    参考教程(19条消息)ubuntu16.04下Detectron+caffe2(Pytorch)安装配置过程_张家坎的博客-CSDN博客_caffe2_detectron_ops_gpu.dllhttps://blog.csdn.net/u014236392/article/details/81117287安装caffe2执行sudomakeinstall之后遇到如下问题:/home/Xdn/cu
  • 进场 行礼 问候 退场 东方芭蕾Lily
    1.当听到响铃声，按编号排队依次进入考场。tips：面带微笑，优雅自信且有礼貌的边看着考试官边跑到准备问好的位置。步伐轻盈像一阵风样，到位置站好一位脚，保持挺拔向上体态。小仙女就是你们。2.行礼问候Examier:(考试官)GillianMccafferyGoodmorning/afternoongirlsGoodmorning/afrernoonmadamorMs.MccafferyQuesti
  • YOLOv5独家改进：上采样算子 | 超轻量高效动态上采样DySample，效果秒杀CAFFE，助力小目标检测 AI小怪兽 YOLOv5原创自研YOLOcaffe目标检测深度学习人工智能
    本文独家改进：一种超轻量高效动态上采样DySample，具有更少的参数、FLOPs，效果秒杀CAFFE和YOLOv5网络中的nn.Upsample在多个数据集下验证能够涨点，尤其在小目标检测领域涨点显著。收录YOLOv5原创自研https://blog.csdn.net/m0_63774211/category_12511931.html全网独家首发创新（原创），适合paper！！！2024年计算
  • caffez转ncnn，及环境配置 宁静深远 软件安装
    一、安装ncnn1、安装protobuf(a)、gitclonehttps://github.com/google/protobuf(b)、自动生成configure配置文件，运行：./autogen.sh(c)、配置环境：./configure(d)、编译源代码:make(e)、安装：sudomakeinstall(f)、刷新动态库:sudoldconfig2、安装ncnn(a)、mkdirco
  • 最新姿态估计研究进展 a微风掠过
    最新姿态估计研究进展自上而下：就是先检测包含人的框，即humanproposal，然后对框子中的人进行姿态估计。一般RCNN（区域CNN就是这个思路）自下而上：先检测keypoint，然后根据热力图、点与点之间连接的概率，根据图论知识，基于PAF（部分亲和字段）将关键点连接起来，将关键点分组到人。1、CMU：openpose研究多人的姿态估计运行环境：caffe自下而上，关键点被分组到人的实例时间
  • 智慧云智能教育考试平台展示 barry200890 springbootvue考试javavue.js小程序
    智慧云智能教育平台项目简介技术架构1.1后端技术栈:*基于SpringBoot+MybatisPlus+Shiro+mysql5.7+redis+websocket构建.*使用jdk1.8的新特性如:caffeine缓存,lambda表达式.1.2前端技术:*Vue*Vuex*Vxe-Table(文档地址：https://gitee.com/xuliangzhan_admin/vxe-table)
  • what is SSD|Single Shot MultiBox Detector Woooooooooooooo
    文章摘选自多篇文章，仅用于学习，在此表示感谢，若有侵权请联系，感谢论文下载地址：https://arxiv.org/abs/1512.02325论文代码：https://github.com/weiliu89/caffe/tree/ssd省去了区域建议网络，直接使用不同尺度featuremap中的cell得到priodbox（和anchor类似），利用卷积可以直接得到box的回归和score而不需
  • caffe中的参考模型 雨住多一横
    RCNNmode_reference_rcnn_ilsvrc13l.pngcaffenet用于Flickrstyle数据集model_finetune_flickr_style.pngAlexNetmodel_alexnet.pnggooglenetmodel_googlenet.pngcaffenetmodel_reference_caffenet.png
  • RT-DETR算法优化改进：上采样算子 | 超轻量高效动态上采样DySample，效果秒杀CAFFE，助力小目标检测 AI小怪兽 RT-DETR魔术师算法caffe目标检测YOLO深度学习人工智能
    本文独家改进：一种超轻量高效动态上采样DySample，具有更少的参数、FLOPs，效果秒杀CAFFE和YOLOv8网络中的nn.Upsample在多个数据集下验证能够涨点，尤其在小目标检测领域涨点显著。RT-DETR魔术师专栏介绍：https://blog.csdn.net/m0_63774211/category_12497375.html✨✨✨魔改创新RT-DETR引入前沿顶会创新（CVPR
  • 「性能提升」扩展 Spring Cache 支持多级缓存 冷冷zz
    为什么多级缓存缓存的引入是现在大部分系统所必须考虑的redis作为常用中间件，虽然我们一般业务系统（毕竟业务量有限）不会遇到如下图在随着data-size的增大和数据结构的复杂的造成性能下降，但网络IO消耗会成为整个调用链路中不可忽视的部分。尤其在微服务架构中，一次调用往往会涉及多次调用例如pigoauth2.0的client认证Caffeine来自未来的本地内存缓存,性能比如常见的内存缓存实现性
  • Spring Cache duration～ spring-bootspringjava后端
    目录标题SpringCache1介绍2常用注解3入门SpringCache1介绍SpringCache是一个框架，实现了基于注解的缓存功能，只需要简单地加一个注解，就能实现缓存功能。SpringCache提供了一层抽象，底层可以切换不同的缓存实现，例如：EHCacheCaffeineRedis(常用)起步依赖：org.springframework.bootspring-boot-starter-
  • Caffeine与Spring cache的各种注解操作 500了 springjava后端
    前言Caffeine是一个基于Java8的进程内缓存框架，它使用乐观锁技术来提高并发吞吐量，并被誉为最快的缓存之一。Caffeine是内存型缓存，即缓存与调用者属于同一个应用，具体地说是属于同一个JVM。它的设计目标是提供高性能、高命中率以及低内存占用的本地缓存解决方案，被描述为GuavaCache的加强版和“新一代缓存”。关于Caffeine的使用，其提供了多种灵活的配置选项：自动加载数据：可以
  • 缓存组件Caffeine的使用 月月大王 Java#工具类缓存
    caffeine是一个高性能的缓存组件，在需要缓存数据，但数据量不算太大，不想引入redis的时候，caffeine就是一个不错的选择。可以把caffeine理解为一个简单的redis。1、导入依赖com.github.ben-manes.caffeinecaffeine2.9.3导入是要注意版本，最开始我用的版本是3.1.1，不过启动是的时候会报错，这是因为我用的是jdk1.8，需要降低一下版本
  • Makefile.config walkMAN_aholic
    ##Refertohttp://caffe.berkeleyvision.org/installation.html#Contributionssimplifyingandimprovingourbuildsystemarewelcome!#cuDNNaccelerationswitch(uncommenttobuildwithcuDNN).USE_CUDNN:=1#CPU-onlyswitch(
  • 缓存Caffeine之W-TinyLFU淘汰策略 georgesnoopy guava缓存java淘汰策略Caffeine
    我们常见的缓存是基于内存的缓存，但是单机的内存是有限的，不能让缓存数据撑爆内存，所有需要缓存淘汰机制。https://mp.csdn.net/editor/html/115872837中大概说明了LRU的缓存淘汰机制，以及基于LRU的著名实现guavacache。除了LRU淘汰策略外，其是常见的还有FIFO以及LFU，只是说目前用的最多的是LRU。LRULRU记录了缓存中数据项的访问时间，在缓存数
  • Caffeine史上最快的内存缓存 奇遇少年 缓存java
    引言在现代的Web应用程序中，缓存是提升性能，减少数据库负载，加快响应速度的关键技术之一。SpringBoot作为一个简化Spring应用开发的框架，提供了与多种缓存技术集成的支持。Caffeine是一个高性能，灵活的缓存库，它可以作为本地缓存在Java应用中广泛使用。本文将详细介绍如何在SpringBoot项目中集成Caffeine缓存，并通过一个实例来展示它的使用。什么是Caffeine缓存？
  • 如何解决caffe和video-caffe不能使用cudnn8编译的问题 Arnold-FY-Chen video-caffe深度学习Caffevideo-caffecaffe深度学习cudnn8cudnn
    因为caffe之类的代码很久不更新了，只支持到了使用cudnn7.x，在使用了cudnn8的环境下编译caffe或video-caffe时，会在src/caffe/layers/cudnn_conv_layer.cpp等文件里出错：error:identifier"CUDNN_CONVOLUTION_FWD_SPECIFY_WORKSPACE_LIMIT"isundefinederror:iden
  • Redis 6.0 客户端缓存 极简博客 javaredis
    不难发现，我们经常将Redis作为系统的缓存服务，但你有没有发现。在我们每次操作Redis时，都需要发送网络请求。这样就避免不了网络的开销。但如何解决这个问题呢？我们引入了本地缓存来解决此问题。查询逻辑从先前的直接查询转变为：先通过查询本地缓存，不存在再去远程查找然后设置到本地缓存-适用于分布式客户端缓存。有没有感觉像我们使用过的本地缓存Guava、Caffeine等一样？有啥特别的？这里Redi
  • [图像算法]-(yolov5.train)-GPU架构中的半精度fp16与单精度fp32计算 蒸饺与白茶
    GPU架构中的半精度与单精度计算  由于项目原因，我们需要对darknet中卷积层进行优化，然而对于像caffe或者darknet这类深度学习框架来说，都已经将卷积运算转换成了矩阵乘法，从而可以方便调用cublas库函数和cudnn里tiling过的矩阵乘。  CUDA在推出7.5的时候提出了可以计算16位浮点数据的新特性。定义了两种新的数据类型half和half2.之前有师弟已经DEMO过半精度
  • caffe搭建深度神经网络 A异乡人_7a44
    利用Caffe进行深度神经网络训练第一步需要搞懂几个重要文件：solver.prototxttrain_val.prototxttrain.shsolver.prototxtsolver这个文件主要存放模型训练所用到的一些超参数：net:=指定待训练模型结构文件，即train_val.prototxttest_interval:=测试间隔，即每隔多少次迭代进行一次测试test_initializa
  • deep-visualization-toolbox可视化安装 2014wzy caffe框架
    运行环境：Linux+caffe步骤：Step0:Compilemasterbranchofcaffe本代码运行的前提是，配置过caffe。因为配置caffe的过程中会出现一些依赖库，正是本代码所需要的。http://blog.csdn.NET/u011204487/article/details/51596471是配置caffe的过程。注意Makefile.config中的CPU_ONLY:=1
  • ASM系列四 利用Method 组件动态注入方法逻辑 lijingyao8206 字节码技术jvmAOP动态代理ASM
            这篇继续结合例子来深入了解下Method组件动态变更方法字节码的实现。通过前面一篇，知道ClassVisitor 的visitMethod()方法可以返回一个MethodVisitor的实例。那么我们也基本可以知道，同ClassVisitor改变类成员一样，MethodVIsistor如果需要改变方法成员，注入逻辑，也可以
  • java编程思想 --内部类 百合不是茶 java内部类匿名内部类
    内部类;了解外部类 并能与之通信 内部类写出来的代码更加整洁与优雅   1,内部类的创建  内部类是创建在类中的 package com.wj.InsideClass; /* * 内部类的创建 */ public class CreateInsideClass { public CreateInsideClass(
  • web.xml报错 crabdave web.xml
    web.xml报错   The content of element type "web-app" must match "(icon?,display-  name?,description?,distributable?,context-param*,filter*,filter-mapping*,listener*,servlet*,s
  • 泛型类的自定义 麦田的设计者 javaandroid泛型
       为什么要定义泛型类，当类中要操作的引用数据类型不确定的时候。 采用泛型类，完成扩展。   例如有一个学生类     Student{ Student(){ System.out.println("I'm a student....."); } }  有一个老师类  
  • CSS清除浮动的4中方法 IT独行者 JavaScriptUIcss
    清除浮动这个问题，做前端的应该再熟悉不过了，咱是个新人，所以还是记个笔记，做个积累，努力学习向大神靠近。CSS清除浮动的方法网上一搜，大概有N多种，用过几种，说下个人感受。 1、结尾处加空div标签 clear:both 1 2 3 4 .div 1 { background : #000080 ; border : 1px   s
  • Cygwin使用windows的jdk 配置方法 _wy_ jdkwindowscygwin
    1.[vim /etc/profile]    JAVA_HOME="/cgydrive/d/Java/jdk1.6.0_43"  (windows下jdk路径为D:\Java\jdk1.6.0_43)    PATH="$JAVA_HOME/bin:${PATH}"    CLAS
  • linux下安装maven 无量 mavenlinux安装
    Linux下安装maven(转) 1.首先到Maven官网 下载安装文件，目前最新版本为3.0.3，下载文件为 apache-maven-3.0.3-bin.tar.gz，下载可以使用wget命令； 2.进入下载文件夹，找到下载的文件，运行如下命令解压 tar -xvf  apache-maven-2.2.1-bin.tar.gz 解压后的文件夹
  • tomcat的https 配置,syslog-ng配置 aichenglong tomcathttp跳转到httpssyslong-ng配置syslog配置
    1) tomcat配置https,以及http自动跳转到https的配置     1)TOMCAT_HOME目录下生成密钥(keytool是jdk中的命令)      keytool -genkey -alias tomcat -keyalg RSA -keypass changeit -storepass changeit
  • 关于领号活动总结 alafqq 活动
    关于某彩票活动的总结 具体需求，每个用户进活动页面，领取一个号码，1000中的一个； 活动要求 1，随机性，一定要有随机性； 2，最少中奖概率，如果注数为3200注，则最多中4注 3，效率问题，（不能每个人来都产生一个随机数，这样效率不高）； 4，支持断电（仍然从下一个开始），重启服务；（存数据库有点大材小用，因此不能存放在数据库） 解决方案 1，事先产生随机数1000个，并打
  • java数据结构 冒泡排序的遍历与排序 百合不是茶 java
    java的冒泡排序是一种简单的排序规则   冒泡排序的原理：           比较两个相邻的数，首先将最大的排在第一个，第二次比较第二个 ，此后一样；         针对所有的元素重复以上的步骤，除了最后一个     例题；将int array[]
  • JS检查输入框输入的是否是数字的一种校验方法 bijian1013 js
    如下是JS检查输入框输入的是否是数字的一种校验方法： <form method=post target="_blank"> 数字：<input type="text" name=num onkeypress="checkNum(this.form)"><br> </form>
  • Test注解的两个属性：expected和timeout bijian1013 javaJUnitexpectedtimeout
    JUnit4：Test文档中的解释： 　　The Test annotation supports two optional parameters. 　　The first, expected, declares that a test method should throw an exception. 　　If it doesn't throw an exception or if it
  • [Gson二]继承关系的POJO的反序列化 bit1129 POJO
    父类     package inheritance.test2; import java.util.Map; public class Model { private String field1; private String field2; private Map<String, String> infoMap
  • 【Spark八十四】Spark零碎知识点记录 bit1129 spark
    1. ShuffleMapTask的shuffle数据在什么地方记录到MapOutputTracker中的 ShuffleMapTask的runTask方法负责写数据到shuffle map文件中。当任务执行完成成功，DAGScheduler会收到通知，在DAGScheduler的handleTaskCompletion方法中完成记录到MapOutputTracker中  
  • WAS各种脚本作用大全 ronin47 WAS 脚本
    　　　http://www.ibm.com/developerworks/cn/websphere/library/samples/SampleScripts.html 　　　无意中，在WAS官网上发现的各种脚本作用，感觉很有作用，先与各位分享一下 　　　 获取下载 这些示例 jacl 和 Jython 脚本可用于在 WebSphere Application Server 的不同版本中自
  • java-12.求 1+2+3+..n不能使用乘除法、 for 、 while 、 if 、 else 、 switch 、 case 等关键字以及条件判断语句 bylijinnan switch
    借鉴网上的思路，用java实现： public class NoIfWhile { /** * @param args * * find x=1+2+3+....n */ public static void main(String[] args) { int n=10; int re=find(n); System.o
  • Netty源码学习-ObjectEncoder和ObjectDecoder bylijinnan javanetty
    Netty中传递对象的思路很直观： Netty中数据的传递是基于ChannelBuffer（也就是byte[]）； 那把对象序列化为字节流，就可以在Netty中传递对象了 相应的从ChannelBuffer恢复对象，就是反序列化的过程 Netty已经封装好ObjectEncoder和ObjectDecoder 先看ObjectEncoder ObjectEncoder是往外发送
  • spring 定时任务中cronExpression表达式含义 chicony cronExpression
    一个cron表达式有6个必选的元素和一个可选的元素，各个元素之间是以空格分隔的，从左至右，这些元素的含义如下表所示： 代表含义            是否必须 允许的取值范围         &nb
  • Nutz配置Jndi ctrain JNDI
    1、使用JNDI获取指定资源： var ioc = { dao : { type :"org.nutz.dao.impl.NutDao", args : [ {jndi :"jdbc/dataSource"} ] } } 以上方法,仅需要在容器中配置好数据源,注入到NutDao即可.
  • 解决 /bin/sh^M: bad interpreter: No such file or directory daizj shell
    在Linux中执行.sh脚本，异常/bin/sh^M: bad interpreter: No such file or directory。   分析：这是不同系统编码格式引起的：在windows系统中编辑的.sh文件可能有不可见字符，所以在Linux系统下执行会报以上异常信息。 解决： 1）在windows下转换： 利用一些编辑器如UltraEdit或EditPlus等工具
  • [转]for 循环为何可恨？ dcj3sjt126com 程序员读书
      Java的闭包(Closure)特征最近成为了一个热门话题。 一些精英正在起草一份议案，要在Java将来的版本中加入闭包特征。 然而，提议中的闭包语法以及语言上的这种扩充受到了众多Java程序员的猛烈抨击。 不久前，出版过数十本编程书籍的大作家Elliotte Rusty Harold发表了对Java中闭包的价值的质疑。 尤其是他问道“for 循环为何可恨？”[http://ju
  • Android实用小技巧 dcj3sjt126com android
    1、去掉所有Activity界面的标题栏 　　修改AndroidManifest.xml 　　在application 标签中添加android:theme="@android:style/Theme.NoTitleBar"   2、去掉所有Activity界面的TitleBar 和StatusBar  　　修改AndroidManifes
  • Oracle 复习笔记之序列 eksliang Oracle 序列sequenceOracle sequence
    转载请出自出处：http://eksliang.iteye.com/blog/2098859 1.序列的作用 序列是用于生成唯一、连续序号的对象 一般用序列来充当数据库表的主键值 2.创建序列语法如下：   create sequence s_emp start with 1 --开始值 increment by 1 --増长值 maxval
  • 有“品”的程序员 gongmeitao 工作
    完美程序员的10种品质　　   完美程序员的每种品质都有一个范围，这个范围取决于具体的问题和背景。没有能解决所有问题的   完美程序员（至少在我们这个星球上），并且对于特定问题，完美程序员应该具有以下品质： 　　1. 才智非凡- 能够理解问题、能够用清晰可读的代码翻译并表达想法、善于分析并且逻辑思维能力强   （范围：用简单方式解决复杂问题）　　
  • 使用KeleyiSQLHelper类进行分页查询 hvt sql.netC#asp.nethovertree
    本文适用于sql server单主键表或者视图进行分页查询，支持多字段排序。KeleyiSQLHelper类的最新代码请到http://hovertree.codeplex.com/SourceControl/latest下载整个解决方案源代码查看。或者直接在线查看类的代码：http://hovertree.codeplex.com/SourceControl/latest#HoverTree.D
  • SVG 教程 （三）圆形，椭圆，直线 天梯梦 svg
    SVG <circle> SVG 圆形 - <circle> <circle> 标签可用来创建一个圆： 下面是SVG代码： <svg xmlns="http://www.w3.org/2000/svg" version="1.1"> <circle cx="100" c
  • 链表栈 luyulong java数据结构
    public class Node { private Object object; private Node next; public Node() { this.next = null; this.object = null; } public Object getObject() { return object; } public
  • 基础数据结构和算法十：2-3 search tree sunwinner Algorithm2-3 search tree
      Binary search tree works well for a wide variety of applications, but they have poor worst-case performance. Now we introduce a type of binary search tree where costs are guaranteed to be loga
  • spring配置定时任务 stunizhengjia springtimer
    最近因工作的需要，用到了spring的定时任务的功能,觉得spring还是很智能化的,只需要配置一下配置文件就可以了,在此记录一下，以便以后用到：     //------------------------定时任务调用的方法------------------------------ /** * 存储过程定时器 */ publi
  • ITeye 8月技术图书有奖试读获奖名单公布 ITeye管理员 活动
    ITeye携手博文视点举办的8月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 8月试读活动回顾： http://webmaster.iteye.com/blog/2102830 本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）： 《跨终端Web》 gleams：http
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他