学习笔记：Caffe上配置和运行Cifar10的示例

学习笔记：Caffe上配置和运行Cifar10的示例

CIFAR-10数据集含有6万个32*32的彩色图像，共分为10种类型，由 Alex Krizhevsky, Vinod Nair和 Geoffrey Hinton收集而来。包含50000张训练图片，10000张测试图片

http://www.cs.toronto.edu/~kriz/cifar.html

数据集的数据存在一个10000*3072 的 numpy数组中，单位是uint8s，3072是存储了一个32*32的彩色图像。（3072=1024*3）。前1024位是r值，中间1024是g值，后面1024是b值。

学习笔记：Caffe上配置和运行Cifar10的示例

 

首先准备数据集：

 

cd $CAFFE_ROOT/data/cifar10

./get_cifar10.sh

 

 

[html]  view plain copy 在CODE上查看代码片
 
  1. [root@localhost cifar10]# ./get_cifar10.sh   
  2. Downloading...  
  3. --2015-03-09 18:38:23--  http://www.cs.toronto.edu/~kriz/cifar-10-binary.tar.gz  
  4. Resolving www.cs.toronto.edu... 128.100.3.30  
  5. Connecting to www.cs.toronto.edu|128.100.3.30|:80... connected.  
  6. HTTP request sent, awaiting response... 200 OK  
  7. Length: 170052171 (162M) [application/x-gzip]  
  8. Saving to: 鈥渃ifar-10-binary.tar.gz鈥  
  9.   
  10. 100%[=============================================================>] 170,052,171 1.66M/s   in 5m 22s    
[html]  view plain copy 在CODE上查看代码片
 
  1. Unzipping...  
  2. Done.  

 

 

然后进入目录 执行

cd $CAFFE_ROOT/examples/cifar10

./create_cifar10.sh

 

create_cifar10.sh 源代码如下，我们可以看到，所做的工作就是将图片库转成leveldb格式，并计算均值二进制文件

 

[html]  view plain copy 在CODE上查看代码片
 
  1. #!/usr/bin/env sh  
  2. # This script converts the cifar data into leveldb format.  
  3.   
  4. EXAMPLE=examples/cifar10  
  5. DATA=data/cifar10  
  6.   
  7. echo "Creating leveldb..."  
  8.   
  9. rm -rf $EXAMPLE/cifar10_train_leveldb $EXAMPLE/cifar10_test_leveldb  
  10.   
  11. ./build/examples/cifar10/convert_cifar_data.bin $DATA $EXAMPLE  
  12.   
  13. echo "Computing image mean..."  
  14.   
  15. ./build/tools/compute_image_mean $EXAMPLE/cifar10_train_leveldb \  
  16.   $EXAMPLE/mean.binaryproto leveldb  
  17.   
  18. echo "Done."  


运行之后，将会在examples中出现数据库文件./cifar10-leveldb和数据库图像均值二进制文件./mean.binaryproto

 

[html]  view plain copy 在CODE上查看代码片
 
  1. [root@localhost caffe]# ./examples/cifar10/create_cifar10.sh  
  2. Creating leveldb...  
  3. Computing image mean...  
  4. E0309 18:50:12.026103 18241 compute_image_mean.cpp:114] Processed 10000 files.  
  5. E0309 18:50:12.094758 18241 compute_image_mean.cpp:114] Processed 20000 files.  
  6. E0309 18:50:12.163048 18241 compute_image_mean.cpp:114] Processed 30000 files.  
  7. E0309 18:50:12.231233 18241 compute_image_mean.cpp:114] Processed 40000 files.  
  8. E0309 18:50:12.299324 18241 compute_image_mean.cpp:114] Processed 50000 files.  
  9. Done.  



模型描述在examples/cifar10/cifar10_quick_solver.prototxt，和examples/cifar10/cifar10_quick_train_test.prototxt 中。

 

 

[html]  view plain copy 在CODE上查看代码片
 
  1. # reduce the learning rate after 8 epochs (4000 iters) by a factor of 10  
  2.   
  3. # The train/test net protocol buffer definition  
  4. net: "examples/cifar10/cifar10_quick_train_test.prototxt"  
  5. # test_iter specifies how many forward passes the test should carry out.  
  6. # In the case of MNIST, we have test batch size 100 and 100 test iterations,  
  7. # covering the full 10,000 testing images.  
  8. test_iter: 100  
  9. # Carry out testing every 500 training iterations.  
  10. test_interval: 500  
  11. # The base learning rate, momentum and the weight decay of the network.  
  12. base_lr: 0.001  
  13. momentum: 0.9  
  14. weight_decay: 0.004  
  15. # The learning rate policy  
  16. lr_policy: "fixed"  
  17. # Display every 100 iterations  
  18. display: 100  
  19. # The maximum number of iterations  
  20. max_iter: 4000  
  21. # snapshot intermediate results  
  22. snapshot: 4000  
  23. snapshot_prefix: "examples/cifar10/cifar10_quick"  
  24. # solver mode: CPU or GPU  
  25. solver_mode: CPU  
  26. ~  

 

 

 

[html]  view plain copy 在CODE上查看代码片
 
  1. name: "CIFAR10_quick"  
  2. layers {  
  3.   name: "cifar"  
  4.   type: DATA  
  5.   top: "data"  
  6.   top: "label"  
  7.   data_param {  
  8.     source: "examples/cifar10/cifar10_train_leveldb"  
  9.     batch_size: 100  
  10.   }  
  11.   transform_param {  
  12.     mean_file: "examples/cifar10/mean.binaryproto"  
  13.   }  
  14.   include: { phase: TRAIN }  
  15. }  
  16. layers {  
  17.   name: "cifar"  
  18.   type: DATA  
  19.   top: "data"  
  20.   top: "label"  
  21.   data_param {  
  22.     source: "examples/cifar10/cifar10_test_leveldb"  
  23.     batch_size: 100  
  24.   }  
  25.   transform_param {  
  26.     mean_file: "examples/cifar10/mean.binaryproto"  
  27.   }  
  28.   include: { phase: TEST }  
  29. }  
  30. layers {  
  31.   name: "conv1"  
  32.   type: CONVOLUTION  
  33.   bottom: "data"  
  34.   top: "conv1"  
  35.   blobs_lr: 1  
  36.   blobs_lr: 2  
  37.   convolution_param {  
  38.     num_output: 32  
  39.     pad: 2  
  40.     kernel_size: 5  
  41.     stride: 1  
  42.     weight_filler {  
  43.       type: "gaussian"  
  44.       std: 0.0001  
  45.     }  
  46.     bias_filler {  
  47.       type: "constant"  
  48.     }  
  49.   }  
  50. }  
  51. layers {  
  52.   name: "pool1"  
  53.   type: POOLING  
  54.   bottom: "conv1"  
  55.   top: "pool1"  
  56.   pooling_param {  
  57.     pool: MAX  
  58.     kernel_size: 3  
  59.     stride: 2  
  60.   }  
  61. }  
  62. layers {  
  63.   name: "relu1"  
  64.   type: RELU  
  65.   bottom: "pool1"  
  66.   top: "pool1"  
  67. }  
  68. layers {  
  69.   name: "conv2"  
  70.   type: CONVOLUTION  
  71.   bottom: "pool1"  
  72.   top: "conv2"  
  73.   blobs_lr: 1  
  74.   blobs_lr: 2  
  75.   convolution_param {  
  76.     num_output: 32  
  77.     pad: 2  
  78.     kernel_size: 5  
  79.     stride: 1  
  80.     weight_filler {  
  81.       type: "gaussian"  
  82.       std: 0.01  
  83.     }  
  84.     bias_filler {  
  85.       type: "constant"  
  86.     }  
  87.   }  
  88. }  
  89. layers {  
  90.   name: "relu2"  
  91.   type: RELU  
  92.   bottom: "conv2"  
  93.   top: "conv2"  
  94. }  
  95. layers {  
  96.   name: "pool2"  
  97.   type: POOLING  
  98.   bottom: "conv2"  
  99.   top: "pool2"  
  100.   pooling_param {  
  101.     pool: AVE  
  102.     kernel_size: 3  
  103.     stride: 2  
  104.   }  
  105. }  
  106. layers {  
  107.   name: "conv3"  
  108.   type: CONVOLUTION  
  109.   bottom: "pool2"  
  110.   top: "conv3"  
  111.   blobs_lr: 1  
  112.   blobs_lr: 2  
  113.   convolution_param {  
  114.     num_output: 64  
  115.     pad: 2  
  116.     kernel_size: 5  
  117.     stride: 1  
  118.     weight_filler {  
  119.       type: "gaussian"  
  120.       std: 0.01  
  121.     }  
  122.     bias_filler {  
  123.       type: "constant"  
  124.     }  
  125.   }  
  126. }  
  127. layers {  
  128.   name: "relu3"  
  129.   type: RELU  
  130.   bottom: "conv3"  
  131.   top: "conv3"  
  132. }  
  133. layers {  
  134.   name: "pool3"  
  135.   type: POOLING  
  136.   bottom: "conv3"  
  137.   top: "pool3"  
  138.   pooling_param {  
  139.     pool: AVE  
  140.     kernel_size: 3  
  141.     stride: 2  
  142.   }  
  143. }  
  144. layers {  
  145.   name: "ip1"  
  146.   type: INNER_PRODUCT  
  147.   bottom: "pool3"  
  148.   top: "ip1"  
  149.   blobs_lr: 1  
  150.   blobs_lr: 2  
  151.   inner_product_param {  
  152.     num_output: 64  
  153.     weight_filler {  
  154.       type: "gaussian"  
  155.       std: 0.1  
  156.     }  
  157.     bias_filler {  
  158.       type: "constant"  
  159.     }  
  160.   }  
  161. }  
  162. layers {  
  163.   name: "ip2"  
  164.   type: INNER_PRODUCT  
  165.   bottom: "ip1"  
  166.   top: "ip2"  
  167.   blobs_lr: 1  
  168.   blobs_lr: 2  
  169.   inner_product_param {  
  170.     num_output: 10  
  171.     weight_filler {  
  172.       type: "gaussian"  
  173.       std: 0.1  
  174.     }  
  175.     bias_filler {  
  176.       type: "constant"  
  177.     }  
  178.   }  
  179. }  
  180. layers {  
  181.   name: "accuracy"  
  182.   type: ACCURACY  
  183.   bottom: "ip2"  
  184.   bottom: "label"  
  185.   top: "accuracy"  
  186.   include: { phase: TEST }  
  187. }  
  188. layers {  
  189.   name: "loss"  
  190.   type: SOFTMAX_LOSS  
  191.   bottom: "ip2"  
  192.   bottom: "label"  
  193.   top: "loss"  
  194. }  



 

 


模型训练是 执行train_quick.sh ，内容如下

 

[html]  view plain copy 在CODE上查看代码片
 
  1. [root@localhost cifar10]# vi train_quick.sh   
  2.   
  3.   
  4. #!/usr/bin/env sh  
  5.   
  6.   
  7. TOOLS=./build/tools  
  8.   
  9.   
  10. $TOOLS/caffe train \  
  11.   --solver=examples/cifar10/cifar10_quick_solver.prototxt  
  12.   
  13.   
  14. # reduce learning rate by factor of 10 after 8 epochs  
  15. $TOOLS/caffe train \  
  16.   --solver=examples/cifar10/cifar10_quick_solver_lr1.prototxt \  
  17.   --snapshot=examples/cifar10/cifar10_quick_iter_4000.solverstate  
  18. ~  

执行结果如下：

 

 

[html]  view plain copy 在CODE上查看代码片
 
  1. I0313 00:40:24.471531 13825 net.cpp:56] Memory required for data: 0  
  2. I0313 00:40:24.471560 13825 net.cpp:67] Creating Layer cifar  
  3. I0313 00:40:24.471570 13825 net.cpp:356] cifar -> data  
  4. I0313 00:40:24.471585 13825 net.cpp:356] cifar -> label  
  5. I0313 00:40:24.471596 13825 net.cpp:96] Setting up cifar  
  6. I0313 00:40:24.471602 13825 data_layer.cpp:45] Opening leveldb examples/cifar10/cifar10_test_leveldb  
  7. I0313 00:40:24.549324 13825 data_layer.cpp:128] output data size: 100,3,32,32  
  8. I0313 00:40:24.549372 13825 base_data_layer.cpp:36] Loading mean file fromexamples/cifar10/mean.binaryproto  
  9. I0313 00:40:24.550582 13825 base_data_layer.cpp:64] Initializing prefetch  
  10. I0313 00:40:24.550639 13825 base_data_layer.cpp:66] Prefetch initialized.  
  11. I0313 00:40:24.550683 13825 net.cpp:103] Top shape: 100 3 32 32 (307200)  
  12. I0313 00:40:24.550698 13825 net.cpp:103] Top shape: 100 1 1 1 (100)  
  13. I0313 00:40:24.550709 13825 net.cpp:113] Memory required for data: 1229200  
  14. I0313 00:40:24.550734 13825 net.cpp:67] Creating Layer label_cifar_1_split  
  15. I0313 00:40:24.550750 13825 net.cpp:394] label_cifar_1_split <- label  
  16. I0313 00:40:24.550775 13825 net.cpp:356] label_cifar_1_split -> label_cifar_1_split_0  
  17. I0313 00:40:24.550802 13825 net.cpp:356] label_cifar_1_split -> label_cifar_1_split_1  
  18. I0313 00:40:24.550824 13825 net.cpp:96] Setting up label_cifar_1_split  
  19. I0313 00:40:24.550843 13825 net.cpp:103] Top shape: 100 1 1 1 (100)  
  20. I0313 00:40:24.550855 13825 net.cpp:103] Top shape: 100 1 1 1 (100)  
  21. I0313 00:40:24.550866 13825 net.cpp:113] Memory required for data: 1230000  
  22. I0313 00:40:24.550889 13825 net.cpp:67] Creating Layer conv1  
  23. I0313 00:40:24.550902 13825 net.cpp:394] conv1 <- data  
  24. I0313 00:40:24.550926 13825 net.cpp:356] conv1 -> conv1  
  25. I0313 00:40:24.550951 13825 net.cpp:96] Setting up conv1  
  26. I0313 00:40:24.551573 13825 net.cpp:103] Top shape: 100 32 32 32 (3276800)  
  27. I0313 00:40:24.551583 13825 net.cpp:113] Memory required for data: 14337200  
  28. I0313 00:40:24.551599 13825 net.cpp:67] Creating Layer pool1  
  29. I0313 00:40:24.551605 13825 net.cpp:394] pool1 <- conv1  
  30. I0313 00:40:24.551615 13825 net.cpp:356] pool1 -> pool1  
  31. I0313 00:40:24.551625 13825 net.cpp:96] Setting up pool1  
  32. I0313 00:40:24.551633 13825 net.cpp:103] Top shape: 100 32 16 16 (819200)  
  33. I0313 00:40:24.551638 13825 net.cpp:113] Memory required for data: 17614000  
  34. I0313 00:40:24.551652 13825 net.cpp:67] Creating Layer relu1  
  35. I0313 00:40:24.551658 13825 net.cpp:394] relu1 <- pool1  
  36. I0313 00:40:24.551667 13825 net.cpp:345] relu1 -> pool1 (in-place)  
  37. I0313 00:40:24.551676 13825 net.cpp:96] Setting up relu1  
  38. I0313 00:40:24.551682 13825 net.cpp:103] Top shape: 100 32 16 16 (819200)  
  39. I0313 00:40:24.551687 13825 net.cpp:113] Memory required for data: 20890800  
  40. I0313 00:40:24.551695 13825 net.cpp:67] Creating Layer conv2  
  41. I0313 00:40:24.551700 13825 net.cpp:394] conv2 <- pool1  
  42. I0313 00:40:24.551710 13825 net.cpp:356] conv2 -> conv2  
  43. I0313 00:40:24.551720 13825 net.cpp:96] Setting up conv2  
  44. I0313 00:40:24.554986 13825 net.cpp:103] Top shape: 100 32 16 16 (819200)  
  45. I0313 00:40:24.554996 13825 net.cpp:113] Memory required for data: 24167600  
  46. I0313 00:40:24.555009 13825 net.cpp:67] Creating Layer relu2  
  47. I0313 00:40:24.555024 13825 net.cpp:394] relu2 <- conv2  
  48. I0313 00:40:24.555034 13825 net.cpp:345] relu2 -> conv2 (in-place)  
  49. I0313 00:40:24.555043 13825 net.cpp:96] Setting up relu2  
  50. I0313 00:40:24.555049 13825 net.cpp:103] Top shape: 100 32 16 16 (819200)  
  51. I0313 00:40:24.555054 13825 net.cpp:113] Memory required for data: 27444400  
  52. I0313 00:40:24.555061 13825 net.cpp:67] Creating Layer pool2  
  53. I0313 00:40:24.555068 13825 net.cpp:394] pool2 <- conv2  
  54. I0313 00:40:24.555076 13825 net.cpp:356] pool2 -> pool2  
  55. I0313 00:40:24.555085 13825 net.cpp:96] Setting up pool2  
  56. I0313 00:40:24.555094 13825 net.cpp:103] Top shape: 100 32 8 8 (204800)  
  57. I0313 00:40:24.555099 13825 net.cpp:113] Memory required for data: 28263600  
  58. I0313 00:40:24.555109 13825 net.cpp:67] Creating Layer conv3  
  59. I0313 00:40:24.555114 13825 net.cpp:394] conv3 <- pool2  
  60. I0313 00:40:24.555124 13825 net.cpp:356] conv3 -> conv3  
  61. I0313 00:40:24.555135 13825 net.cpp:96] Setting up conv3  
  62. I0313 00:40:24.561589 13825 net.cpp:103] Top shape: 100 64 8 8 (409600)  
  63. I0313 00:40:24.561599 13825 net.cpp:113] Memory required for data: 29902000  
  64. I0313 00:40:24.561611 13825 net.cpp:67] Creating Layer relu3  
  65. I0313 00:40:24.561619 13825 net.cpp:394] relu3 <- conv3  
  66. I0313 00:40:24.561627 13825 net.cpp:345] relu3 -> conv3 (in-place)  
  67. I0313 00:40:24.561636 13825 net.cpp:96] Setting up relu3  
  68. I0313 00:40:24.561642 13825 net.cpp:103] Top shape: 100 64 8 8 (409600)  
  69. I0313 00:40:24.561646 13825 net.cpp:113] Memory required for data: 31540400  
  70. I0313 00:40:24.561655 13825 net.cpp:67] Creating Layer pool3  
  71. I0313 00:40:24.561661 13825 net.cpp:394] pool3 <- conv3  
  72. I0313 00:40:24.561669 13825 net.cpp:356] pool3 -> pool3  
  73. I0313 00:40:24.561678 13825 net.cpp:96] Setting up pool3  
  74. I0313 00:40:24.561686 13825 net.cpp:103] Top shape: 100 64 4 4 (102400)  
  75. I0313 00:40:24.561691 13825 net.cpp:113] Memory required for data: 31950000  
  76. I0313 00:40:24.561699 13825 net.cpp:67] Creating Layer ip1  
  77. I0313 00:40:24.561704 13825 net.cpp:394] ip1 <- pool3  
  78. I0313 00:40:24.561714 13825 net.cpp:356] ip1 -> ip1  
  79. I0313 00:40:24.561724 13825 net.cpp:96] Setting up ip1  
  80. I0313 00:40:24.569967 13825 net.cpp:103] Top shape: 100 64 1 1 (6400)  
  81. I0313 00:40:24.569975 13825 net.cpp:113] Memory required for data: 31975600  
  82. I0313 00:40:24.569988 13825 net.cpp:67] Creating Layer ip2  
  83. I0313 00:40:24.569993 13825 net.cpp:394] ip2 <- ip1  
  84. I0313 00:40:24.570004 13825 net.cpp:356] ip2 -> ip2  
  85. I0313 00:40:24.570014 13825 net.cpp:96] Setting up ip2  
  86. I0313 00:40:24.570108 13825 net.cpp:103] Top shape: 100 10 1 1 (1000)  
  87. I0313 00:40:24.570114 13825 net.cpp:113] Memory required for data: 31979600  
  88. I0313 00:40:24.570127 13825 net.cpp:67] Creating Layer ip2_ip2_0_split  
  89. I0313 00:40:24.570134 13825 net.cpp:394] ip2_ip2_0_split <- ip2  
  90. I0313 00:40:24.570143 13825 net.cpp:356] ip2_ip2_0_split -> ip2_ip2_0_split_0  
  91. I0313 00:40:24.570154 13825 net.cpp:356] ip2_ip2_0_split -> ip2_ip2_0_split_1  
  92. I0313 00:40:24.570163 13825 net.cpp:96] Setting up ip2_ip2_0_split  
  93. I0313 00:40:24.570171 13825 net.cpp:103] Top shape: 100 10 1 1 (1000)  
  94. I0313 00:40:24.570176 13825 net.cpp:103] Top shape: 100 10 1 1 (1000)  
  95. I0313 00:40:24.570181 13825 net.cpp:113] Memory required for data: 31987600  
  96. I0313 00:40:24.570189 13825 net.cpp:67] Creating Layer accuracy  
  97. I0313 00:40:24.570194 13825 net.cpp:394] accuracy <- ip2_ip2_0_split_0  
  98. I0313 00:40:24.570202 13825 net.cpp:394] accuracy <- label_cifar_1_split_0  
  99. I0313 00:40:24.570214 13825 net.cpp:356] accuracy -> accuracy  
  100. I0313 00:40:24.570222 13825 net.cpp:96] Setting up accuracy  
  101. I0313 00:40:24.570230 13825 net.cpp:103] Top shape: 1 1 1 1 (1)  
  102. I0313 00:40:24.570235 13825 net.cpp:113] Memory required for data: 31987604  
  103. I0313 00:40:24.570245 13825 net.cpp:67] Creating Layer loss  
  104. I0313 00:40:24.570250 13825 net.cpp:394] loss <- ip2_ip2_0_split_1  
  105. I0313 00:40:24.570257 13825 net.cpp:394] loss <- label_cifar_1_split_1  
  106. I0313 00:40:24.570266 13825 net.cpp:356] loss -> loss  
  107. I0313 00:40:24.570274 13825 net.cpp:96] Setting up loss  
  108. I0313 00:40:24.570286 13825 net.cpp:103] Top shape: 1 1 1 1 (1)  
  109. I0313 00:40:24.570291 13825 net.cpp:109]     with loss weight 1  
  110. I0313 00:40:24.570305 13825 net.cpp:113] Memory required for data: 31987608  
  111. I0313 00:40:24.570312 13825 net.cpp:170] loss needs backward computation.  
  112. I0313 00:40:24.570317 13825 net.cpp:172] accuracy does not need backward computation.  
  113. I0313 00:40:24.570322 13825 net.cpp:170] ip2_ip2_0_split needs backward computation.  
  114. I0313 00:40:24.570338 13825 net.cpp:170] ip2 needs backward computation.  
  115. I0313 00:40:24.570349 13825 net.cpp:170] ip1 needs backward computation.  
  116. I0313 00:40:24.570359 13825 net.cpp:170] pool3 needs backward computation.  
  117. I0313 00:40:24.570372 13825 net.cpp:170] relu3 needs backward computation.  
  118. I0313 00:40:24.570384 13825 net.cpp:170] conv3 needs backward computation.  
  119. I0313 00:40:24.570396 13825 net.cpp:170] pool2 needs backward computation.  
  120. I0313 00:40:24.570406 13825 net.cpp:170] relu2 needs backward computation.  
  121. I0313 00:40:24.570420 13825 net.cpp:170] conv2 needs backward computation.  
  122. I0313 00:40:24.570432 13825 net.cpp:170] relu1 needs backward computation.  
  123. I0313 00:40:24.570442 13825 net.cpp:170] pool1 needs backward computation.  
  124. I0313 00:40:24.570456 13825 net.cpp:170] conv1 needs backward computation.  
  125. I0313 00:40:24.570471 13825 net.cpp:172] label_cifar_1_split does not need backward computation.  
  126. I0313 00:40:24.570482 13825 net.cpp:172] cifar does not need backward computation.  
  127. I0313 00:40:24.570494 13825 net.cpp:208] This network produces output accuracy  
  128. I0313 00:40:24.570505 13825 net.cpp:208] This network produces output loss  
  129. I0313 00:40:24.570536 13825 net.cpp:467] Collecting Learning Rate and Weight Decay.  
  130. I0313 00:40:24.570549 13825 net.cpp:219] Network initialization done.  
  131. I0313 00:40:24.570554 13825 net.cpp:220] Memory required for data: 31987608  
  132. I0313 00:40:24.570590 13825 solver.cpp:41] Solver scaffolding done.  
  133. I0313 00:40:24.570595 13825 solver.cpp:160] Solving CIFAR10_quick  
  134. I0313 00:40:24.570600 13825 solver.cpp:161] Learning Rate Policy: fixed  
  135. I0313 00:40:24.570631 13825 solver.cpp:264] Iteration 0, Testing net (#0)  
  136. I0313 00:40:24.570639 13825 net.cpp:652] Copying source layer cifar  
  137. I0313 00:40:24.570644 13825 net.cpp:652] Copying source layer conv1  
  138. I0313 00:40:24.570652 13825 net.cpp:652] Copying source layer pool1  
  139. I0313 00:40:24.570657 13825 net.cpp:652] Copying source layer relu1  
  140. I0313 00:40:24.570662 13825 net.cpp:652] Copying source layer conv2  
  141. I0313 00:40:24.570667 13825 net.cpp:652] Copying source layer relu2  
  142. I0313 00:40:24.570672 13825 net.cpp:652] Copying source layer pool2  
  143. I0313 00:40:24.570677 13825 net.cpp:652] Copying source layer conv3  
  144. I0313 00:40:24.570696 13825 net.cpp:652] Copying source layer relu3  
  145. I0313 00:40:24.570703 13825 net.cpp:652] Copying source layer pool3  
  146. I0313 00:40:24.570708 13825 net.cpp:652] Copying source layer ip1  
  147. I0313 00:40:24.570724 13825 net.cpp:652] Copying source layer ip2  
  148. I0313 00:40:24.570729 13825 net.cpp:652] Copying source layer loss  
  149. }  
  150. I0313 00:40:24.471531 13825 net.cpp:56] Memory required for data: 0  
  151. I0313 00:40:24.471560 13825 net.cpp:67] Creating Layer cifar  
  152. I0313 00:40:24.471570 13825 net.cpp:356] cifar -> data  
  153. I0313 00:40:24.471585 13825 net.cpp:356] cifar -> label  
  154. I0313 00:40:24.471596 13825 net.cpp:96] Setting up cifar  
  155. I0313 00:40:24.471602 13825 data_layer.cpp:45] Opening leveldb examples/cifar10/cifar10_test_leveldb  
  156. I0313 00:40:24.549324 13825 data_layer.cpp:128] output data size: 100,3,32,32  
  157. I0313 00:40:24.549372 13825 base_data_layer.cpp:36] Loading mean file fromexamples/cifar10/mean.binaryproto  
  158. I0313 00:40:24.550582 13825 base_data_layer.cpp:64] Initializing prefetch  
  159. I0313 00:40:24.550639 13825 base_data_layer.cpp:66] Prefetch initialized.  
  160. I0313 00:40:24.550683 13825 net.cpp:103] Top shape: 100 3 32 32 (307200)  
  161. I0313 00:40:24.550698 13825 net.cpp:103] Top shape: 100 1 1 1 (100)  
  162. I0313 00:40:24.550709 13825 net.cpp:113] Memory required for data: 1229200  
  163. I0313 00:40:24.550734 13825 net.cpp:67] Creating Layer label_cifar_1_split  
  164. I0313 00:40:24.550750 13825 net.cpp:394] label_cifar_1_split <- label  
  165. I0313 00:40:24.550775 13825 net.cpp:356] label_cifar_1_split -> label_cifar_1_split_0  
  166. I0313 00:40:24.550802 13825 net.cpp:356] label_cifar_1_split -> label_cifar_1_split_1  
  167. I0313 00:40:24.550824 13825 net.cpp:96] Setting up label_cifar_1_split  
  168. I0313 00:40:24.550843 13825 net.cpp:103] Top shape: 100 1 1 1 (100)  
  169. I0313 00:40:24.550855 13825 net.cpp:103] Top shape: 100 1 1 1 (100)  
  170. I0313 00:40:24.550866 13825 net.cpp:113] Memory required for data: 1230000  
  171. I0313 00:40:24.550889 13825 net.cpp:67] Creating Layer conv1  
  172. I0313 00:40:24.550902 13825 net.cpp:394] conv1 <- data  
  173. I0313 00:40:24.550926 13825 net.cpp:356] conv1 -> conv1  
  174. I0313 00:40:24.550951 13825 net.cpp:96] Setting up conv1  
  175. I0313 00:40:24.551573 13825 net.cpp:103] Top shape: 100 32 32 32 (3276800)  
  176. I0313 00:40:24.551583 13825 net.cpp:113] Memory required for data: 14337200  
  177. I0313 00:40:24.551599 13825 net.cpp:67] Creating Layer pool1  
  178. I0313 00:40:24.551605 13825 net.cpp:394] pool1 <- conv1  
  179. I0313 00:40:24.551615 13825 net.cpp:356] pool1 -> pool1  
  180. I0313 00:40:24.551625 13825 net.cpp:96] Setting up pool1  
  181. I0313 00:40:24.551633 13825 net.cpp:103] Top shape: 100 32 16 16 (819200)  
  182. I0313 00:40:24.551638 13825 net.cpp:113] Memory required for data: 17614000  
  183. I0313 00:40:24.551652 13825 net.cpp:67] Creating Layer relu1  
  184. I0313 00:40:24.551658 13825 net.cpp:394] relu1 <- pool1  
  185. I0313 00:40:24.551667 13825 net.cpp:345] relu1 -> pool1 (in-place)  
  186. I0313 00:40:24.551676 13825 net.cpp:96] Setting up relu1  
  187. I0313 00:40:24.551682 13825 net.cpp:103] Top shape: 100 32 16 16 (819200)  
  188. I0313 00:40:24.551687 13825 net.cpp:113] Memory required for data: 20890800  
  189. I0313 00:40:24.551695 13825 net.cpp:67] Creating Layer conv2  
  190. I0313 00:40:24.551700 13825 net.cpp:394] conv2 <- pool1  
  191. I0313 00:40:24.551710 13825 net.cpp:356] conv2 -> conv2  
  192. I0313 00:40:24.551720 13825 net.cpp:96] Setting up conv2  
  193. I0313 00:40:24.554986 13825 net.cpp:103] Top shape: 100 32 16 16 (819200)  
  194. I0313 00:40:24.554996 13825 net.cpp:113] Memory required for data: 24167600  
  195. I0313 00:40:24.555009 13825 net.cpp:67] Creating Layer relu2  
  196. I0313 00:40:24.555024 13825 net.cpp:394] relu2 <- conv2  
  197. I0313 00:40:24.555034 13825 net.cpp:345] relu2 -> conv2 (in-place)  
  198. I0313 00:40:24.555043 13825 net.cpp:96] Setting up relu2  
  199. I0313 00:40:24.555049 13825 net.cpp:103] Top shape: 100 32 16 16 (819200)  
  200. I0313 00:40:24.555054 13825 net.cpp:113] Memory required for data: 27444400  
  201. I0313 00:40:24.555061 13825 net.cpp:67] Creating Layer pool2  
  202. I0313 00:40:24.555068 13825 net.cpp:394] pool2 <- conv2  
  203. I0313 00:40:24.555076 13825 net.cpp:356] pool2 -> pool2  
  204. I0313 00:40:24.555085 13825 net.cpp:96] Setting up pool2  
  205. I0313 00:40:24.555094 13825 net.cpp:103] Top shape: 100 32 8 8 (204800)  
  206. I0313 00:40:24.555099 13825 net.cpp:113] Memory required for data: 28263600  
  207. I0313 00:40:24.555109 13825 net.cpp:67] Creating Layer conv3  
  208. I0313 00:40:24.555114 13825 net.cpp:394] conv3 <- pool2  
  209. I0313 00:40:24.555124 13825 net.cpp:356] conv3 -> conv3  
  210. I0313 00:40:24.555135 13825 net.cpp:96] Setting up conv3  
  211. I0313 00:40:24.5I0313 00:41:19.945504 13934 data_layer.cpp:187] Restarting data prefetching from start.  
  212. I0313 00:41:21.066936 13825 solver.cpp:315]     Test net output #0: accuracy = 0.0932  
  213. I0313 00:41:21.066978 13825 solver.cpp:315]     Test net output #1: loss = 2.30265 (* 1 = 2.30265 loss)  
  214. I0313 00:41:22.483836 13825 solver.cpp:209] Iteration 0, loss = 2.3028  
  215. I0313 00:41:22.483877 13825 solver.cpp:224]     Train net output #0: loss = 2.3028 (* 1 = 2.3028 loss)  
  216. I0313 00:41:22.483894 13825 solver.cpp:445] Iteration 0, lr = 0.001  
  217. I0313 00:43:45.116195 13825 solver.cpp:209] Iteration 100, loss = 1.785  
  218. I0313 00:43:45.116281 13825 solver.cpp:224]     Train net output #0: loss = 1.785 (* 1 = 1.785 loss)  
  219. I0313 00:43:45.116291 13825 solver.cpp:445] Iteration 100, lr = 0.001  
  220. I0313 00:46:07.567387 13825 solver.cpp:209] Iteration 200, loss = 1.62294  
  221. I0313 00:46:07.567468 13825 solver.cpp:224]     Train net output #0: loss = 1.62294 (* 1 = 1.62294 loss)  
  222. I0313 00:46:07.567479 13825 solver.cpp:445] Iteration 200, lr = 0.001  
  223. I0313 00:48:30.618835 13825 solver.cpp:209] Iteration 300, loss = 1.34621  
  224. I0313 00:48:30.618942 13825 solver.cpp:224]     Train net output #0: loss = 1.34621 (* 1 = 1.34621 loss)  
  225. I0313 00:48:30.618953 13825 solver.cpp:445] Iteration 300, lr = 0.001  
[html]  view plain copy 在CODE上查看代码片
 
  1. I0313 00:50:52.191938 13825 solver.cpp:209] Iteration 400, loss = 1.28778  
  2. I0313 00:50:52.192026 13825 solver.cpp:224]     Train net output #0: loss = 1.28778 (* 1 = 1.28778 loss)  
  3. I0313 00:50:52.192037 13825 solver.cpp:445] Iteration 400, lr = 0.001  
  4. I0313 00:53:09.941452 14527 data_layer.cpp:187] Restarting data prefetching from start.  
  5. I0313 00:53:12.735488 13825 solver.cpp:264] Iteration 500, Testing net (#0)  
  6. I0313 00:53:12.735517 13825 net.cpp:652] Copying source layer cifar  
  7. I0313 00:53:12.735524 13825 net.cpp:652] Copying source layer conv1  
  8. I0313 00:53:12.735530 13825 net.cpp:652] Copying source layer pool1  
  9. I0313 00:53:12.735535 13825 net.cpp:652] Copying source layer relu1  
  10. I0313 00:53:12.735540 13825 net.cpp:652] Copying source layer conv2  
  11. I0313 00:53:12.735545 13825 net.cpp:652] Copying source layer relu2  
  12. I0313 00:53:12.735550 13825 net.cpp:652] Copying source layer pool2  
  13. I0313 00:53:12.735554 13825 net.cpp:652] Copying source layer conv3  
  14. I0313 00:53:12.735560 13825 net.cpp:652] Copying source layer relu3  
  15. I0313 00:53:12.735565 13825 net.cpp:652] Copying source layer pool3  
  16. I0313 00:53:12.735569 13825 net.cpp:652] Copying source layer ip1  
  17. I0313 00:53:12.735575 13825 net.cpp:652] Copying source layer ip2  
  18. I0313 00:53:12.735580 13825 net.cpp:652] Copying source layer loss  
  19. I0313 00:54:08.180796 14634 data_layer.cpp:187] Restarting data prefetching from start.  
  20. I0313 00:54:09.297691 13825 solver.cpp:315]     Test net output #0: accuracy = 0.5571  
  21. I0313 00:54:09.297731 13825 solver.cpp:315]     Test net output #1: loss = 1.271 (* 1 = 1.271 loss)  
  22. I0313 00:54:10.695636 13825 solver.cpp:209] Iteration 500, loss = 1.20884  
  23. I0313 00:54:10.695677 13825 solver.cpp:224]     Train net output #0: loss = 1.20884 (* 1 = 1.20884 loss)  
  24. I0313 00:54:10.695686 13825 solver.cpp:445] Iteration 500, lr = 0.001  
  25. I0313 00:56:32.906312 13825 solver.cpp:209] Iteration 600, loss = 1.18048  
  26. I0313 00:56:32.906397 13825 solver.cpp:224]     Train net output #0: loss = 1.18048 (* 1 = 1.18048 loss)  
  27. I0313 00:56:32.906407 13825 solver.cpp:445] Iteration 600, lr = 0.001  
[html]  view plain copy 在CODE上查看代码片
 
  1.   
[html]  view plain copy 在CODE上查看代码片
 
  1. ……  
[html]  view plain copy 在CODE上查看代码片
 
  1.   


附上readme里面的解释

 

 

[html]  view plain copy 在CODE上查看代码片
 
    1. When you run the code, you will see a lot of messages flying by like this:  
    2.   
    3. I0317 21:52:48.945710 2008298256 net.cpp:74] Creating Layer conv1  
    4. I0317 21:52:48.945716 2008298256 net.cpp:84] conv1 <- data  
    5. I0317 21:52:48.945725 2008298256 net.cpp:110] conv1 -> conv1  
    6. I0317 21:52:49.298691 2008298256 net.cpp:125] Top shape: 100 32 32 32 (3276800)  
    7. I0317 21:52:49.298719 2008298256 net.cpp:151] conv1 needs backward computation.  
    8. These messages tell you the details about each layer, its connections and its output shape, which may be   
    9.   
    10. helpful in debugging. After the initialization, the training will start:  
    11.   
    12. I0317 21:52:49.309370 2008298256 net.cpp:166] Network initialization done.  
    13. I0317 21:52:49.309376 2008298256 net.cpp:167] Memory required for Data 23790808  
    14. I0317 21:52:49.309422 2008298256 solver.cpp:36] Solver scaffolding done.  
    15. I0317 21:52:49.309447 2008298256 solver.cpp:47] Solving CIFAR10_quick_train  
    16. Based on the solver setting, we will print the training loss function every 100 iterations, and test the   
    17.   
    18. network every 500 iterations. You will see messages like this:  
    19.   
    20. I0317 21:53:12.179772 2008298256 solver.cpp:208] Iteration 100, lr = 0.001  
    21. I0317 21:53:12.185698 2008298256 solver.cpp:65] Iteration 100, loss = 1.73643  
    22. ...  
    23. I0317 21:54:41.150030 2008298256 solver.cpp:87] Iteration 500, Testing net  
    24. I0317 21:54:47.129461 2008298256 solver.cpp:114] Test score #0: 0.5504  
    25. I0317 21:54:47.129500 2008298256 solver.cpp:114] Test score #1: 1.27805  
    26. For each training iteration, lr is the learning rate of that iteration, and loss is the training function. For   
    27.   
    28. the output of the testing phase, score 0 is the accuracy, and score 1 is the testing loss function.  
    29.   
    30. And after making yourself a cup of coffee, you are done!  
    31.   
    32. I0317 22:12:19.666914 2008298256 solver.cpp:87] Iteration 5000, Testing net  
    33. I0317 22:12:25.580330 2008298256 solver.cpp:114] Test score #0: 0.7533  
    34. I0317 22:12:25.580379 2008298256 solver.cpp:114] Test score #1: 0.739837  
    35. I0317 22:12:25.587262 2008298256 solver.cpp:130] Snapshotting to cifar10_quick_iter_5000  
    36. I0317 22:12:25.590215 2008298256 solver.cpp:137] Snapshotting solver state to   
    37.   
    38. cifar10_quick_iter_5000.solverstate  
    39. I0317 22:12:25.592813 2008298256 solver.cpp:81] Optimization Done.  
    40. Our model achieved ~75% test accuracy. The model parameters are stored in binary protobuf format in  
    41.   
    42. cifar10_quick_iter_5000  

你可能感兴趣的:(学习笔记)

  • 【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数 广龙宇 一起学Rust#Rust设计模式rust设计模式开发语言
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
  • 四章-32-点要素的聚合 彩云飘过
    本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
  • 语文主题教学学习笔记之87 东哥杂谈
    “语文主题教学”学习笔记之八十七（0125）今天继续学习小学语文主题教学的实践样态。板块三：教学中体现“书艺”味道。作为四大名著之一的《水浒传》，堪称我国文学宝库之经典。对从《水浒传》中摘选的单元，教师就要了解其原生态，即评书体特点。这也要求教师要了解一些常用的评书行话术语，然后在教学时适时地加入一些，让学生体味其文本中原有的特色。学生也要尽可能地通过朗读的方式，而不单是分析讲解的方式进行学习。细
  • 《转介绍方法论》学习笔记 小可乐的妈妈
    一、高效转介绍的流程：价值观---执行----方案一）转介绍发生的背景：1、对象：谁向谁转介绍？全员营销，人人参与。①员工的激励政策、客户的转介绍诱因制作客户画像：a信任；支付能力；意愿度；便利度（根据家长具备四个特征的个数分为四类）B性格分类C职业分类D年龄性别②执行：套路，策略，方法，流程2、诱因：为什么要转介绍？认同信任；多方共赢；传递美好；零风险承诺打动人心，超越期待。选择做教育，就是选择
  • JAVA学习笔记之23种设计模式学习 victorfreedom Java技术设计模式androidjava常用设计模式
    博主最近买了《设计模式》这本书来学习，无奈这本书是以C++语言为基础进行说明，整个学习流程下来效率不是很高，虽然有的设计模式通俗易懂，但感觉还是没有充分的掌握了所有的设计模式。于是博主百度了一番，发现有大神写过了这方面的问题，于是博主迅速拿来学习。一、设计模式的分类总体来说设计模式分为三大类：创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器
  • 新能源汽车 BMS 学习笔记篇—BMS 基本定义及分类 WPG大大通 其他笔记汽车BMS经验分享新能源电池
    一、BMS定义1、概念：BMS（BatteryManagementSystem）即电池管理系统，其管理对象是二次电池（充电电池或蓄电池），其主要目的是电池的利用率，防止电池出现过度充电和过度放电，可应用于电动汽车、电瓶车、机器人、无人机等图片来源：腾讯网https://new.qq.com《标准普尔警告，电动汽车电池生产面临供应链和地缘政治风险》2、四大功能①感知和测量：检测电池的电压、电流、温度
  • 吴恩达深度学习笔记(30)-正则化的解释 极客Array
    正则化（Regularization）深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少你的网络误差。如果你怀疑神经网络过度拟合了数据，即存在高方差问题，那么最先想到的方法可能是正则化，另一个解决高方差的方法就是准备更多数据，这也是非常
  • 个人学习笔记7-6：动手学深度学习pytorch版-李沐 浪子L 深度学习深度学习笔记计算机视觉python人工智能神经网络pytorch
    #人工智能##深度学习##语义分割##计算机视觉##神经网络#计算机视觉13.11全卷积网络全卷积网络（fullyconvolutionalnetwork，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换。引入l转置卷积（transposedconvolution）实现的，输出的类别预测与输入图像在像素级别上具有一一对应关系：通道维的输出即该位置对应像素的类别预测。13.11.1构造模型下
  • golang学习笔记--MPG模型 xxzed golang#学习笔记学习笔记golang
    MPG模式：M（Machine）：操作系统的主线程P（Processor）：协程执行需要的资源（上下文context），可以看作一个局部的调度器，使go代码在一个线程上跑，他是实现从N：1到N：M映射的关键G（Goroutine）：协程，有自己的栈。包含指令指针（instructionpointer）和其它信息（正在等待的channel等等），用于调度。一个P下面可以有多个G1、当前程序有三个M,
  • 碎片化学习笔记分享 剑客写作
    现在生活节奏很快，学习力成为了我们拥有的最大财富。碎片化学习是最好的。首先，不要太过自信，学会虚心学习，是我们面对现实的好方法，才能够常保新鲜。平时我们要拥有什么工具呢？1.思维导图2.写在印象笔记里3.听书，消燥耳机4.教学输出5.录音笔里面最好的方式就是教学输出法，记忆里最好。当输出时我们集中精力记忆里最好。有人认为缩短睡眠时间来学习，其实最好的方式是保持最好的睡眠，记忆力会更好。剥夺睡眠，会
  • 《随园诗话》学习笔记三百零六 飞鸿雪舞
    卷五凡诗之传者，都在灵性五、五斗米与诗【原文】丁丑，余觅一抄书人，或荐黄生，名之纪，号星岩者，人甚朴野。偶过其案头，得句云；“破庵僧卖临街瓦，独井人争向晚泉。”余大奇之，即饷米五斗。自此欣然大用力于诗。五言句云：“云开日脚直，雨落水纹圆。竹锐穿泥壁，蝇酣落酒尊。钓久知鱼性，樵多识树名。笔残芦并用，墨尽指同磨。＂七言云：＂小窗近水寒偏觉，古木遮天曙不知。旧生萍处泥犹绿，新落花时水亦香。旧甓恐闲都贮水
  • D15 论语学习笔记 许小兔Angelina
    悟：上级对下级的宽容：凡事成定局，就不你说了；已接近完结的事，也没必要匡正和挽回了；既然是过去的事，也没必要追究得失和责任了。对待孩子教育也是，不用“问责制”，这样容易让孩子因为害怕担责而说谎。应当循循善诱，避免再犯错才是最重要的。3.16：【原文】子曰：“射不主皮，为力不同科，古之道也。”【译文】孔子说：“射箭比赛不以射透为主，而主要看是否射得准确，因为人的力量不同，自古如此。”3.17：【原文
  • 网络工程师学习笔记（一） 专业白嫖怪 网络工程师学习笔记学习笔记网络
    为了备战下半年的软考——网络工程师，利用每天的下班的闲暇时间看书听课，然后自己手敲整理的系列资料。希望能够对你们有所帮助第一章__计算机网络概述计算机网络的定义：将分散的具有独立运算功能的计算机系统，通过通信线路和通信设备进行连接起来的实现资源的共享。ARPAnet网络的特征：资源共享、分散控制、分组交换1946年第一台通用计算机—埃尼亚克能够相互连通进行数据交换。1960年提出巨型网络，出现了对
  • K8S学习笔记02——K8S组件 沉淅尘 #Docker#K8Skubernetes
    Kubernetes组件一、控制平面组件（ControlPlaneComponents）(1)kube-apiserver(2)etcd(3)kube-scheduler(4)kube-controller-manager(5)cloud-controller-manager二、Node组件1.kubelet2.kube-proxy3.容器运行时（ContainerRuntime）三、插件（Add
  • 「Python」2020.04.08学习笔记 | 第六章文件（a+）模式+把随机手机号写入文件小练习 Yetta的书影屋
    学习测试开发的Day97，真棒！学习时间为40M第九次全天课(下午视频二20M-50M）>>>fp.seek(0)0>>>fp.read()'你好11你好12你好13你好14你好15\n你好16\n你好17\n你好18\n'>>>fp.seek(0,0)0>>>fp.write("*********************************\n")34>>>fp.seek(0,0)0>>>f
  • 《金文成〈中庸〉学习笔记401。2020-2-24》 金吾生
    《金文成〈中庸〉学习笔记401。2020-2-24》今天是庚子年戊寅月丁酉日，二月初二，2020年2月24日星期一。二月二龙抬头。第二十二章【唯天下至诚，为能尽其性；能尽其性，则能尽人之性；能尽人之性，则能尽物之性；能尽物之性，则能赞天地之化育；能赞天地之化育，则可以与天地参矣。】上一节，船山讲解说，性作为天用之本体，于圣人和匹夫匹妇而言并无二致，区别来自于诚。诚的区别来自于纯粹与掺杂。掺杂什么呢
  • CDGA学习笔记三-《数据安全》 zy_chris 网络安全
    七、数据安全7.1引言数据安全包括安全策略和过程的规划、建立与执行，为数据和信息资产提供正确的身份验证、授权、访问和审计。要求来自以下方面：（1）利益相关方（2）政府法规（3）特定业务关注点（4）合法访问需求（5）合同义务7.1.1业务驱动因素1、降低风险信息安全首先对组织数据进行分级分类，对组织数据进行分类分级的整个流程：1）识别敏感数据资产并分类分级2）在企业中查找敏感数据3）确定保护每项资产
  • vue学习笔记——关于对Vue3 ref(), toRef(), toRefs(), unref(), isRef(), reactive()方法的理解。 chen_sir_sh vue学习笔记javascript前端vue
    VUE3出现了很多新的API，下面是自己的一些理解进行的总结。欢迎大家一起交流补充。ref()使用ref创建一个数据类型，ref有value这个属性constname1={age:"14",name:"bob1"};constname2=ref({name:"bob2"});//使用ref创建一个数据类型相对于reactive，ref有value属性name2.value="bob3"consol
  • 遇到僵尸进程，怎么处理---学习笔记 summer@彤妈 性能优化linux
    僵尸进程解释当iowait升高时，进程很可能因为得不到硬件的响应，而长时间处于不可中断状态。从ps或者top命令的输出中，你可以发现它们都处于D状态，也就是不可中断状态（UninterruptibleSleep）。既然说到了进程的状态，进程有哪些状态你还记得吗？我们先来回顾一下。top和ps是最常用的查看进程状态的工具，我们就从top的输出开始。下面是一个top命令输出的示例，S列（也就是Stat
  • C++学习笔记----6、内存管理（五）---- 智能指针（3） 王俊山IT c++学习笔记开发语言
    2、shared_ptr有时候吧，有些对象或者一部分代码需要同一个指针的拷贝。那么unique_ptr不能被拷贝，因此就不能用于些场景。这样的话，std::shared_ptr就是一个支持能够被拷贝的拥有共享属主的智能指针。但是，如果有指向同一个资源的多个shared_ptr实例，那么怎么知道什么时候去释放资源呢？这可以通过对于引用记数来解决，这个我们以后再聊。首先，让我们看一下怎么构造与使用sh
  • 【学习笔记】武志红心理学—潜意识决定命运 万万千千
    冰山一角什么构成了我们的命运？命运是由我们的显意识和潜意识来决定的。我们可以用一张图做一个比喻。看过“冰山一角”图片的都知道，潜意识就是水面以下的部分，显意识是水面以上的部分，从体积来看，潜意识占了大部分，而显意识只是冰山一角，纵向来看，庞大的潜意识支撑着冰山一角的显意识，才得以让冰山漂浮在水面。延伸到我们的人生，我们对自己显意识层面的想法很容易感知到，所以我们会说这是“我”自己做的选择。而潜意识
  • Prism 教程 yang_B621 PrismIOC
    http://t.csdnimg.cn/VXSSvhttps://blog.csdn.net/u010476739/article/details/119341731Prism-随笔分类-Hello——寻梦者！-博客园(cnblogs.com)C#IoC学习笔记-缥缈的尘埃-博客园(cnblogs.com)WPF_SchuylerEX的博客-CSDN博客
  • 绘本讲师训练营【第30期】2/21阅读原创《绘本之力》学习笔记2 郑贤钰
    30028郑贤钰今天读了绘本之力《留在灵魂里的东西》读了心里有非常大的感触！两个年幼什么都不懂的孩子，为了自己心爱的东西，攒下来自己的零花钱，却买了一个自己不知道怎么用的东西，当他们觉得这个东西根本就不好，准备扔掉的时候，这是故事中的有趣有爱的老爷爷出现了，帮助孩子们再一次发现之前别人拉出优美的音乐，原来自己买的这一个琴，自认为没用的琴也能够经过老爷爷熟练的演奏也能拉出这样优美的声音，这让孩子们十
  • 仿老师悟 耕海者
    毕业十年了，今天去拜访老师，看到老师的学习笔记，看到老师努力学习，积极提高的状态，我觉着自己真是有些懈怠了，孩子们，老师的老师都在孜孜不倦，我们岂能偷懒！
  • C++学习笔记----7、使用类与对象获得高性能（一）---- 书写类（2） 王俊山IT c++学习笔记开发语言
    2.2、定义成员函数前面对SpreadsheetCell类的定义足以让你生成类的对象。然而，如果想调用setValue()或者getValue()成员函数，连接器就会抱怨这些函数没有定义。这是因为到目前为止，这些成员函数只有原型，而还没有实现。通常，类的定义会在模块接口文件。对于成员函数的定义，你有一个选择：可以在模块定义文件或者在模块实现文件。下面是SpreadsheetCell类，在类内对成员
  • Spring6学习笔记4：事务 ·云扬· SSMJava#Spring学习笔记spring
    1JdbcTemplate1.1简介Spring框架对JDBC进行封装，使用JdbcTemplate方便实现对数据库操作准备工作①搭建子模块搭建子模块：spring-jdbc-tx②加入依赖org.springframeworkspring-jdbc6.0.2mysqlmysql-connector-java8.0.30com.alibabadruid1.2.15③创建jdbc.propertie
  • 连通无向图一般中心的算法及其matlab程序详解 夏天天天天天天天# 图论算法matlab图论
    #################本文为学习《图论算法及其MATLAB实现》的学习笔记#################若服务点只允许取在各顶点上,而服务对象却取在各顶点及各边(或弧)上的点,则在所有顶点中选定一个顶点作为图的一般中心其条件是该点离它本身的最远服务对象(包括顶点及各边(或弧)上的点)的距离达到极小值。寻找无向图的一般中心对解决网络最佳服务点确定的问题是十分有效的，使得服务对象的范围
  • 学习笔记：FW内容安全概述 TKE_yinian
    内容安全概述信息安全概述主要威胁关于防护简介内容安全威胁应用层威胁内容安全技术WEB安全应用安全入侵防御检测邮件安全数据安全网络安全反病毒全局环境感知沙箱检测信息安全概述•信息安全是对信息和信息系统进行保护，防止未授权的访问、使用、泄露、中断、修改、破坏并以此提供保密性、完整性和可用性。•为关键资产提供机密性、完整性和可用性（CIA三元组）保护是信息安全的核心目标。CIA（Confidential
  • java的socket实现一个九宫棋游戏 睡不醒的小泽
    前言一个简单的socket小作品=v=一个机酱在大三实验课中接触到很基础的JAVA语言socket编程。至于你问为什么嵌入式的机酱会弄些Java吗？emmmmm，可能是当初C语言版的不够好玩吧，另外如果碰巧有用，欢迎抱走的yoo在之前的笔记《网络基础知识和网络编程》中有讲解过关于网络编程的一些基本知识，以及一些LinuxC的socket编程，希望粗浅了解socket内部肌理的同学，右转咱的学习笔记
  • 【每日一词】D33 edge 宠辱不惊的中年少女
    1）学习笔记：edge：优势，=advantagebeanabsoluteedge有绝对优势AhasanedgeoverB表示A比B更好maintainone'sedge保持优势loseone'sedge失去优势innovativeedge创新方面的优势2）查字典延伸：A.就工作经验而言，她显然要比我们面试过的其他人都胜出一筹。Intermsofexperience,shedefinitelyha
  • 辗转相处求最大公约数 沐刃青蛟 C++漏洞
    无言面对”江东父老“了，接触编程一年了，今天发现还不会辗转相除法求最大公约数。惭愧惭愧！   为此，总结一下以方便日后忘了好查找。   1.输入要比较的两个数a,b   忽略：2.比较大小（因为后面要的是大的数对小的数做%操作）   3.辗转相除（用循环不停的取余，如a%b,直至b=0）   4.最后的a为两数的最大公约数 &
  • F5负载均衡会话保持技术及原理技术白皮书 bijian1013 F5负载均衡
    一.什么是会话保持？        在大多数电子商务的应用系统或者需要进行用户身份认证的在线系统中，一个客户与服务器经常经过好几次的交互过程才能完成一笔交易或者是一个请求的完成。由于这几次交互过程是密切相关的，服务器在进行这些交互过程的某一个交互步骤时，往往需要了解上一次交互过程的处理结果，或者上几步的交互过程结果，服务器进行下
  • Object.equals方法：重载还是覆盖 Cwind javagenericsoverrideoverload
    本文译自StackOverflow上对此问题的讨论。 原问题链接   在阅读Joshua Bloch的《Effective Java（第二版）》第8条“覆盖equals时请遵守通用约定”时对如下论述有疑问： “不要将equals声明中的Object对象替换为其他的类型。程序员编写出下面这样的equals方法并不鲜见，这会使程序员花上数个小时都搞不清它为什么不能正常工作：” pu
  • 初始线程 15700786134
          暑假学习的第一课是讲线程，任务是是界面上的一条线运动起来。            既然是在界面上，那必定得先有一个界面，所以第一步就是，自己的类继承JAVA中的JFrame，在新建的类中写一个界面，代码如下： public class ShapeFr
  • Linux的tcpdump 被触发 tcpdump
    用简单的话来定义tcpdump，就是：dump the traffic on a network，根据使用者的定义对网络上的数据包进行截获的包分析工具。 tcpdump可以将网络中传送的数据包的“头”完全截获下来提供分析。它支 持针对网络层、协议、主机、网络或端口的过滤，并提供and、or、not等逻辑语句来帮助你去掉无用的信息。 实用命令实例 默认启动 tcpdump 普通情况下，直
  • 安卓程序listview优化后还是卡顿 肆无忌惮_ ListView
    最近用eclipse开发一个安卓app，listview使用baseadapter，里面有一个ImageView和两个TextView。使用了Holder内部类进行优化了还是很卡顿。后来发现是图片资源的问题。把一张分辨率高的图片放在了drawable-mdpi文件夹下，当我在每个item中显示，他都要进行缩放，导致很卡顿。解决办法是把这个高分辨率图片放到drawable-xxhdpi下。 &nb
  • 扩展easyUI tab控件，添加加载遮罩效果 知了ing jquery
    (function () { $.extend($.fn.tabs.methods, { //显示遮罩 loading: function (jq, msg) { return jq.each(function () { var panel = $(this).tabs(&
  • gradle上传jar到nexus 矮蛋蛋 gradle
    原文地址： https://docs.gradle.org/current/userguide/maven_plugin.html configurations {     deployerJars } dependencies {     deployerJars "org.apache.maven.wagon
  • 千万条数据外网导入数据库的解决方案。 alleni123 sqlmysql
    从某网上爬了数千万的数据，存在文本中。 然后要导入mysql数据库。 悲剧的是数据库和我存数据的服务器不在一个内网里面。。 ping了一下， 19ms的延迟。 于是下面的代码是没用的。 ps = con.prepareStatement(sql); ps.setString(1, info.getYear())............; ps.exec
  • JAVA IO InputStreamReader和OutputStreamReader 百合不是茶 JAVA.io操作 字符流
    这是第三篇关于java.io的文章了，从开始对io的不了解-->熟悉--->模糊，是这几天来对文件操作中最大的感受，本来自己认为的熟悉了的，刚刚在回想起前面学的好像又不是很清晰了，模糊对我现在或许是最好的鼓励 我会更加的去学 加油！： JAVA的API提供了另外一种数据保存途径，使用字符流来保存的，字符流只能保存字符形式的流   字节流和字符的难点：a,怎么将读到的数据
  • MO、MT解读 bijian1013 GSM
    MO= Mobile originate，上行，即用户上发给SP的信息。MT= Mobile Terminate，下行，即SP端下发给用户的信息； 上行:mo提交短信到短信中心下行:mt短信中心向特定的用户转发短信，你的短信是这样的，你所提交的短信，投递的地址是短信中心。短信中心收到你的短信后，存储转发，转发的时候就会根据你填写的接收方号码寻找路由，下发。在彩信领域是一样的道理。下行业务：由SP
  • 五个JavaScript基础问题 bijian1013 JavaScriptcallapplythisHoisting
    下面是五个关于前端相关的基础问题，但却很能体现JavaScript的基本功底。 问题1：Scope作用范围 考虑下面的代码：  (function() { var a = b = 5; })(); console.log(b); 什么会被打印在控制台上？  回答：         上面的代码会打印 5。 &nbs
  • 【Thrift二】Thrift Hello World bit1129 Hello world
    本篇，不考虑细节问题和为什么，先照葫芦画瓢写一个Thrift版本的Hello World，了解Thrift RPC服务开发的基本流程   1. 在Intellij中创建一个Maven模块，加入对Thrift的依赖，同时还要加上slf4j依赖，如果不加slf4j依赖，在后面启动Thrift Server时会报错 <dependency>
  • 【Avro一】Avro入门 bit1129 入门
    本文的目的主要是总结下基于Avro Schema代码生成，然后进行序列化和反序列化开发的基本流程。需要指出的是，Avro并不要求一定得根据Schema文件生成代码，这对于动态类型语言很有用。   1. 添加Maven依赖   <?xml version="1.0" encoding="UTF-8"?> <proj
  • 安装nginx+ngx_lua支持WAF防护功能 ronin47
    需要的软件:LuaJIT-2.0.0.tar.gz                   nginx-1.4.4.tar.gz          &nb
  • java-5.查找最小的K个元素-使用最大堆 bylijinnan java
    import java.util.Arrays; import java.util.Random; public class MinKElement { /** * 5.最小的K个元素 * I would like to use MaxHeap. * using QuickSort is also OK */ public static void
  • TCP的TIME-WAIT bylijinnan socket
    原文连接： http://vincent.bernat.im/en/blog/2014-tcp-time-wait-state-linux.html 以下为对原文的阅读笔记 说明： 主动关闭的一方称为local end，被动关闭的一方称为remote end 本地IP、本地端口、远端IP、远端端口这一“四元组”称为quadruplet，也称为socket 1、TIME_WA
  • jquery ajax 序列化表单 coder_xpf Jquery ajax 序列化
       checkbox 如果不设定值，默认选中值为on；设定值之后，选中则为设定的值   <input type="checkbox" name="favor" id="favor" checked="checked"/> $("#favor&quo
  • Apache集群乱码和最高并发控制 cuisuqiang apachetomcat并发集群乱码
    都知道如果使用Http访问，那么在Connector中增加URIEncoding即可，其实使用AJP时也一样，增加useBodyEncodingForURI和URIEncoding即可。 最大连接数也是一样的，增加maxThreads属性即可，如下，配置如下： <Connector maxThreads="300" port="8019" prot
  • websocket dalan_123 websocket
    一、低延迟的客户端-服务器 和 服务器-客户端的连接 很多时候所谓的http的请求、响应的模式，都是客户端加载一个网页，直到用户在进行下一次点击的时候，什么都不会发生。并且所有的http的通信都是客户端控制的，这时候就需要用户的互动或定期轮训的，以便从服务器端加载新的数据。   通常采用的技术比如推送和comet（使用http长连接、无需安装浏览器安装插件的两种方式：基于ajax的长
  • 菜鸟分析网络执法官 dcj3sjt126com 网络
      最近在论坛上看到很多贴子在讨论网络执法官的问题。菜鸟我正好知道这回事情.人道"人之患好为人师" 手里忍不住,就写点东西吧. 我也很忙.又没有MM,又没有MONEY....晕倒有点跑题. OK,闲话少说,切如正题. 要了解网络执法官的原理. 就要先了解局域网的通信的原理. 前面我们看到了.在以太网上传输的都是具有以太网头的数据包. 
  • Android相对布局属性全集 dcj3sjt126com android
    RelativeLayout布局android:layout_marginTop="25dip" //顶部距离android:gravity="left" //空间布局位置android:layout_marginLeft="15dip //距离左边距 // 相对于给定ID控件android:layout_above 将该控件的底部置于给定ID的
  • Tomcat内存设置详解 eksliang jvmtomcattomcat内存设置
    Java内存溢出详解   一、常见的Java内存溢出有以下三种：   1. java.lang.OutOfMemoryError: Java heap space ----JVM Heap（堆）溢出JVM在启动的时候会自动设置JVM Heap的值，其初始空间(即-Xms)是物理内存的1/64，最大空间(-Xmx)不可超过物理内存。 可以利用JVM提
  • Java6 JVM参数选项 greatwqs javaHotSpotjvmjvm参数JVM Options
    Java 6 JVM参数选项大全（中文版）   作者：Ken Wu Email: [email protected] 转载本文档请注明原文链接 http://kenwublog.com/docs/java6-jvm-options-chinese-edition.htm！   本文是基于最新的SUN官方文档Java SE 6 Hotspot VM Opt
  • weblogic创建JMC i5land weblogicjms
    进入 weblogic控制太 1.创建持久化存储 --Services--Persistant Stores--new--Create FileStores--name随便起--target默认--Directory写入在本机建立的文件夹的路径--ok 2.创建JMS服务器 --Services--Messaging--JMS Servers--new--name随便起--Pers
  • 基于 DHT 网络的磁力链接和BT种子的搜索引擎架构 justjavac DHT
    上周开发了一个磁力链接和 BT 种子的搜索引擎 {Magnet & Torrent}，本文简单介绍一下主要的系统功能和用到的技术。 系统包括几个独立的部分： 使用 Python 的 Scrapy 框架开发的网络爬虫，用来爬取磁力链接和种子； 使用 PHP CI 框架开发的简易网站； 搜索引擎目前直接使用的 MySQL，将来可以考虑使
  • sql添加、删除表中的列 macroli sql
    添加没有默认值：alter table Test add BazaarType char(1) 有默认值的添加列：alter table Test add BazaarType char(1) default(0) 删除没有默认值的列：alter table Test drop COLUMN BazaarType 删除有默认值的列：先删除约束（默认值）alter table Test DRO
  • PHP中二维数组的排序方法 abc123456789cba 排序二维数组PHP
    <?php/*** @package     BugFree* @version     $Id: FunctionsMain.inc.php,v 1.32 2005/09/24 11:38:37 wwccss Exp $*** Sort an two-dimension array by some level
  • hive优化之------控制hive任务中的map数和reduce数 superlxw1234 hivehive优化
    一、    控制hive任务中的map数: 1.    通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2. 
  • Spring Boot 1.2.4 发布 wiselyman spring boot
    Spring Boot 1.2.4已于6.4日发布，repo.spring.io and Maven Central可以下载(推荐使用maven或者gradle构建下载)。   这是一个维护版本，包含了一些修复small number of fixes,建议所有的用户升级。   Spring Boot 1.3的第一个里程碑版本将在几天后发布，包含许多
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他