lynnandwei

学习笔记：GoogLeNet

GoogLeNet, 2014年ILSVRC挑战赛冠军，将Top5 的错误率降低到6.67%. 一个22层的深度网络，论文在http://arxiv.org/pdf/1409.4842v1.pdf，题目为：Going deeper with convolutions。（每次看这么简洁优雅的题目，就想吐槽国内写paper的八股文题目）。GoogLeNet这个名字也是挺有意思的，为了像开山鼻祖的LeNet网络致敬，他们选择了这样的名字。

BVLC在caffe中给出了网络的实现：https://github.com/BVLC/caffe/tree/master/models/bvlc_googlenet

模型下载地址：http://dl.caffe.berkeleyvision.org/bvlc_googlenet.caffemodel

从论文里整理了一张这个22个层次的模型的图出来（如果考虑pooling层是27层），先将模型跑了一遍结果，还是那只猫：

直观输出是如下，觉得挺准确：

[287 281 285 282 283]
['n02127052 lynx, catamount' 'n02123045 tabby, tabby cat'
'n02124075 Egyptian cat' 'n02123159 tiger cat' 'n02123394 Persian cat']

caffe的实现和原来论文的模型是有不同的：

not training with the relighting data-augmentation;
not training with the scale or aspect-ratio data-augmentation;
uses "xavier" to initialize the weights instead of "gaussian";
quick_solver.prototxt uses a different learning rate decay policy than the original solver.prototxt, that allows a much faster training (60 epochs vs 250 epochs);
The bundled model is the iteration 2,400,000 snapshot (60 epochs) using quick_solver.prototxt

但是准确度还是达到了 a top-1 accuracy 68.7% (31.3% error) and a top-5 accuracy 88.9% (11.1% error)

我们来分析一下这个模型的层次关系:

原始数据，输入为224*224*3

第一层卷积层 conv1 ，pad是3，64个特征，7*7 步长为2，输出特征为 112*112*64，然后进行relu，经过pool1（红色的max pool）进行pooling 3*3的核，步长为2， [（112 - 3+1）/2]+1 = 56 特征为56*56*64 ，然后进行norm

第二层卷积层 conv2， pad是1，3*3，192个特征，输出为56*56*192，然后进行relu，进行norm，经过pool2进行pooling，3*3的核，步长为2 输出为28*28*192 然后进行split 分成四个支线

Setting up pool2/3x3_s2
I0319 23:50:37.405478  5765 net.cpp:103] Top shape: 10 192 28 28 (1505280)
I0319 23:50:37.405484  5765 net.cpp:113] Memory required for data: 174612480
I0319 23:50:37.405495  5765 net.cpp:67] Creating Layer pool2/3x3_s2_pool2/3x3_s2_0_split
I0319 23:50:37.405503  5765 net.cpp:394] pool2/3x3_s2_pool2/3x3_s2_0_split <- pool2/3x3_s2
I0319 23:50:37.405515  5765 net.cpp:356] pool2/3x3_s2_pool2/3x3_s2_0_split -> pool2/3x3_s2_pool2/3x3_s2_0_split_0
I0319 23:50:37.405531  5765 net.cpp:356] pool2/3x3_s2_pool2/3x3_s2_0_split -> pool2/3x3_s2_pool2/3x3_s2_0_split_1
I0319 23:50:37.405545  5765 net.cpp:356] pool2/3x3_s2_pool2/3x3_s2_0_split -> pool2/3x3_s2_pool2/3x3_s2_0_split_2
I0319 23:50:37.405557  5765 net.cpp:356] pool2/3x3_s2_pool2/3x3_s2_0_split -> pool2/3x3_s2_pool2/3x3_s2_0_split_3
I0319 23:50:37.405567  5765 net.cpp:96] Setting up pool2/3x3_s2_pool2/3x3_s2_0_split
I0319 23:50:37.405577  5765 net.cpp:103] Top shape: 10 192 28 28 (1505280)
I0319 23:50:37.405582  5765 net.cpp:103] Top shape: 10 192 28 28 (1505280)
I0319 23:50:37.405587  5765 net.cpp:103] Top shape: 10 192 28 28 (1505280)
I0319 23:50:37.405592  5765 net.cpp:103] Top shape: 10 192 28 28 (1505280)
I0319 23:50:37.405597  5765 net.cpp:113] Memory required for data: 198696960
I0319 23:50:37.405611  5765 net.cpp:67] Creating Layer inception_3a/1x1^M

第三层开始时 inception module ，这个的思想受到使用不同尺度的Gabor过滤器来处理多尺度问题，inception module采用不同尺度的卷积核来处理问题。3a 包含四个支线：

1： 64个1*1的卷积核（之后进行RULE计算）变成28*28*64

2： 96个1*1的卷积核作为3*3卷积核之前的reduce，变成28*28*96，进行relu计算后，再进行128个3*3的卷积，pad为1， 28*28*128

3：16个1*1的卷积核作为5*5卷积核之前的reduce，变成28*28*16，进行relu计算后，再进行32个5*5的卷积，pad为2，变成28*28*32

4：pool层，3*3的核，pad为1，输出还是28*28*192，然后进行32个1*1的卷积，变成28*28*32。

将四个结果进行连接，输出为28*28*256

然后将3a的结果又分成四条支线，开始建立3b的inception module

1：128个1*1的卷积核（之后进行RULE计算）变成28*28*128

2：128个1*1的卷积核作为3*3卷积核之前的reduce，变成28*28*128，再进行192个3*3的卷积，pad为1， 28*28*192，进行relu计算

3：32个1*1的卷积核作为5*5卷积核之前的reduce，变成28*28*32，进行relu计算后，再进行96个5*5的卷积，pad为2，变成28*28*96

4：pool层，3*3的核，pad为1，输出还是28*28*256，然后进行64个1*1的卷积，变成28*28*64。

将四个结果进行连接，输出为28*28*480

同理依次推算，数据变化如下表：

一部分输出结果如下：

I0319 22:27:51.257917 5080 net.cpp:208] This network produces output prob

I0319 22:27:51.258116  5080 net.cpp:467] Collecting Learning Rate and Weight Decay.
I0319 22:27:51.258162  5080 net.cpp:219] Network initialization done.
I0319 22:27:51.258167  5080 net.cpp:220] Memory required for data: 545512320
I0319 22:27:51.345417  5080 net.cpp:702] Ignoring source layer data
I0319 22:27:51.345443  5080 net.cpp:702] Ignoring source layer label_data_1_split
I0319 22:27:51.345448  5080 net.cpp:705] Copying source layer conv1/7x7_s2
I0319 22:27:51.345542  5080 net.cpp:705] Copying source layer conv1/relu_7x7
I0319 22:27:51.345548  5080 net.cpp:705] Copying source layer pool1/3x3_s2
I0319 22:27:51.345553  5080 net.cpp:705] Copying source layer pool1/norm1
I0319 22:27:51.345558  5080 net.cpp:705] Copying source layer conv2/3x3_reduce
I0319 22:27:51.345600  5080 net.cpp:705] Copying source layer conv2/relu_3x3_reduce
I0319 22:27:51.345607  5080 net.cpp:705] Copying source layer conv2/3x3
I0319 22:27:51.346571  5080 net.cpp:705] Copying source layer conv2/relu_3x3
I0319 22:27:51.346580  5080 net.cpp:705] Copying source layer conv2/norm2
I0319 22:27:51.346585  5080 net.cpp:705] Copying source layer pool2/3x3_s2
I0319 22:27:51.346590  5080 net.cpp:705] Copying source layer pool2/3x3_s2_pool2/3x3_s2_0_split
I0319 22:27:51.346595  5080 net.cpp:705] Copying source layer inception_3a/1x1
I0319 22:27:51.346706  5080 net.cpp:705] Copying source layer inception_3a/relu_1x1
I0319 22:27:51.346712  5080 net.cpp:705] Copying source layer inception_3a/3x3_reduce
I0319 22:27:51.346879  5080 net.cpp:705] Copying source layer inception_3a/relu_3x3_reduce
I0319 22:27:51.346885  5080 net.cpp:705] Copying source layer inception_3a/3x3
I0319 22:27:51.347844  5080 net.cpp:705] Copying source layer inception_3a/relu_3x3
I0319 22:27:51.347851  5080 net.cpp:705] Copying source layer inception_3a/5x5_reduce
I0319 22:27:51.347885  5080 net.cpp:705] Copying source layer inception_3a/relu_5x5_reduce
I0319 22:27:51.347892  5080 net.cpp:705] Copying source layer inception_3a/5x5
I0319 22:27:51.348008  5080 net.cpp:705] Copying source layer inception_3a/relu_5x5
I0319 22:27:51.348014  5080 net.cpp:705] Copying source layer inception_3a/pool
I0319 22:27:51.348019  5080 net.cpp:705] Copying source layer inception_3a/pool_proj
I0319 22:27:51.348080  5080 net.cpp:705] Copying source layer inception_3a/relu_pool_proj
I0319 22:27:51.348085  5080 net.cpp:705] Copying source layer inception_3a/output
I0319 22:27:51.348091  5080 net.cpp:705] Copying source layer inception_3a/output_inception_3a/output_0_split
I0319 22:27:51.348096  5080 net.cpp:705] Copying source layer inception_3b/1x1
I0319 22:27:51.348398  5080 net.cpp:705] Copying source layer inception_3b/relu_1x1
I0319 22:27:51.348405  5080 net.cpp:705] Copying source layer inception_3b/3x3_reduce
I0319 22:27:51.348700  5080 net.cpp:705] Copying source layer inception_3b/relu_3x3_reduce
I0319 22:27:51.348707  5080 net.cpp:705] Copying source layer inception_3b/3x3
I0319 22:27:51.350611  5080 net.cpp:705] Copying source layer inception_3b/relu_3x3
I0319 22:27:51.350620  5080 net.cpp:705] Copying source layer inception_3b/5x5_reduce
I0319 22:27:51.350699  5080 net.cpp:705] Copying source layer inception_3b/relu_5x5_reduce
I0319 22:27:51.350705  5080 net.cpp:705] Copying source layer inception_3b/5x5
I0319 22:27:51.351372  5080 net.cpp:705] Copying source layer inception_3b/relu_5x5
I0319 22:27:51.351378  5080 net.cpp:705] Copying source layer inception_3b/pool
I0319 22:27:51.351384  5080 net.cpp:705] Copying source layer inception_3b/pool_proj
I0319 22:27:51.351546  5080 net.cpp:705] Copying source layer inception_3b/relu_pool_proj
I0319 22:27:51.351552  5080 net.cpp:705] Copying source layer inception_3b/output
I0319 22:27:51.351558  5080 net.cpp:705] Copying source layer pool3/3x3_s2
I0319 22:27:51.351563  5080 net.cpp:705] Copying source layer pool3/3x3_s2_pool3/3x3_s2_0_split
I0319 22:27:51.351569  5080 net.cpp:705] Copying source layer inception_4a/1x1
I0319 22:27:51.352367  5080 net.cpp:705] Copying source layer inception_4a/relu_1x1
I0319 22:27:51.352375  5080 net.cpp:705] Copying source layer inception_4a/3x3_reduce
I0319 22:27:51.352782  5080 net.cpp:705] Copying source layer inception_4a/relu_3x3_reduce
I0319 22:27:51.352789  5080 net.cpp:705] Copying source layer inception_4a/3x3
I0319 22:27:51.354333  5080 net.cpp:705] Copying source layer inception_4a/relu_3x3
I0319 22:27:51.354341  5080 net.cpp:705] Copying source layer inception_4a/5x5_reduce
I0319 22:27:51.354420  5080 net.cpp:705] Copying source layer inception_4a/relu_5x5_reduce
I0319 22:27:51.354429  5080 net.cpp:705] Copying source layer inception_4a/5x5
I0319 22:27:51.354601  5080 net.cpp:705] Copying source layer inception_4a/relu_5x5
I0319 22:27:51.354609  5080 net.cpp:705] Copying source layer inception_4a/pool
I0319 22:27:51.354614  5080 net.cpp:705] Copying source layer inception_4a/pool_proj
I0319 22:27:51.354887  5080 net.cpp:705] Copying source layer inception_4a/relu_pool_proj
I0319 22:27:51.354894  5080 net.cpp:705] Copying source layer inception_4a/output
I0319 22:27:51.354900  5080 net.cpp:705] Copying source layer inception_4a/output_inception_4a/output_0_split
I0319 22:27:51.354910  5080 net.cpp:702] Ignoring source layer loss1/ave_pool
I0319 22:27:51.354918  5080 net.cpp:702] Ignoring source layer loss1/conv
I0319 22:27:51.354923  5080 net.cpp:702] Ignoring source layer loss1/relu_conv
I0319 22:27:51.354930  5080 net.cpp:702] Ignoring source layer loss1/fc
I0319 22:27:51.354936  5080 net.cpp:702] Ignoring source layer loss1/relu_fc
I0319 22:27:51.354943  5080 net.cpp:702] Ignoring source layer loss1/drop_fc
I0319 22:27:51.354950  5080 net.cpp:702] Ignoring source layer loss1/classifier
I0319 22:27:51.354956  5080 net.cpp:702] Ignoring source layer loss1/loss
I0319 22:27:51.354962  5080 net.cpp:705] Copying source layer inception_4b/1x1
I0319 22:27:51.355681  5080 net.cpp:705] Copying source layer inception_4b/relu_1x1
I0319 22:27:51.355690  5080 net.cpp:705] Copying source layer inception_4b/3x3_reduce
I0319 22:27:51.356190  5080 net.cpp:705] Copying source layer inception_4b/relu_3x3_reduce
I0319 22:27:51.356199  5080 net.cpp:705] Copying source layer inception_4b/3x3
I0319 22:27:51.358134  5080 net.cpp:705] Copying source layer inception_4b/relu_3x3
I0319 22:27:51.358144  5080 net.cpp:705] Copying source layer inception_4b/5x5_reduce
I0319 22:27:51.358256  5080 net.cpp:705] Copying source layer inception_4b/relu_5x5_reduce
I0319 22:27:51.358263  5080 net.cpp:705] Copying source layer inception_4b/5x5
I0319 22:27:51.358608  5080 net.cpp:705] Copying source layer inception_4b/relu_5x5
I0319 22:27:51.358616  5080 net.cpp:705] Copying source layer inception_4b/pool
I0319 22:27:51.358623  5080 net.cpp:705] Copying source layer inception_4b/pool_proj
I0319 22:27:51.358917  5080 net.cpp:705] Copying source layer inception_4b/relu_pool_proj
I0319 22:27:51.358925  5080 net.cpp:705] Copying source layer inception_4b/output
I0319 22:27:51.358932  5080 net.cpp:705] Copying source layer inception_4b/output_inception_4b/output_0_split
I0319 22:27:51.358937  5080 net.cpp:705] Copying source layer inception_4c/1x1
I0319 22:27:51.359519  5080 net.cpp:705] Copying source layer inception_4c/relu_1x1
I0319 22:27:51.359526  5080 net.cpp:705] Copying source layer inception_4c/3x3_reduce
I0319 22:27:51.360097  5080 net.cpp:705] Copying source layer inception_4c/relu_3x3_reduce
I0319 22:27:51.360105  5080 net.cpp:705] Copying source layer inception_4c/3x3
I0319 22:27:51.362634  5080 net.cpp:705] Copying source layer inception_4c/relu_3x3
I0319 22:27:51.362643  5080 net.cpp:705] Copying source layer inception_4c/5x5_reduce
I0319 22:27:51.362757  5080 net.cpp:705] Copying source layer inception_4c/relu_5x5_reduce
I0319 22:27:51.362764  5080 net.cpp:705] Copying source layer inception_4c/5x5
I0319 22:27:51.363106  5080 net.cpp:705] Copying source layer inception_4c/relu_5x5
I0319 22:27:51.363114  5080 net.cpp:705] Copying source layer inception_4c/pool
I0319 22:27:51.363121  5080 net.cpp:705] Copying source layer inception_4c/pool_proj
I0319 22:27:51.363415  5080 net.cpp:705] Copying source layer inception_4c/relu_pool_proj
I0319 22:27:51.363423  5080 net.cpp:705] Copying source layer inception_4c/output
I0319 22:27:51.363430  5080 net.cpp:705] Copying source layer inception_4c/output_inception_4c/output_0_split
I0319 22:27:51.363436  5080 net.cpp:705] Copying source layer inception_4d/1x1
I0319 22:27:51.363937  5080 net.cpp:705] Copying source layer inception_4d/relu_1x1
I0319 22:27:51.363945  5080 net.cpp:705] Copying source layer inception_4d/3x3_reduce
I0319 22:27:51.364591  5080 net.cpp:705] Copying source layer inception_4d/relu_3x3_reduce
I0319 22:27:51.364600  5080 net.cpp:705] Copying source layer inception_4d/3x3
I0319 22:27:51.367797  5080 net.cpp:705] Copying source layer inception_4d/relu_3x3
I0319 22:27:51.367806  5080 net.cpp:705] Copying source layer inception_4d/5x5_reduce
I0319 22:27:51.367959  5080 net.cpp:705] Copying source layer inception_4d/relu_5x5_reduce
I0319 22:27:51.367966  5080 net.cpp:705] Copying source layer inception_4d/5x5
I0319 22:27:51.368420  5080 net.cpp:705] Copying source layer inception_4d/relu_5x5
I0319 22:27:51.368428  5080 net.cpp:705] Copying source layer inception_4d/pool
I0319 22:27:51.368435  5080 net.cpp:705] Copying source layer inception_4d/pool_proj
I0319 22:27:51.368726  5080 net.cpp:705] Copying source layer inception_4d/relu_pool_proj
I0319 22:27:51.368733  5080 net.cpp:705] Copying source layer inception_4d/output
I0319 22:27:51.368739  5080 net.cpp:705] Copying source layer inception_4d/output_inception_4d/output_0_split
I0319 22:27:51.368748  5080 net.cpp:702] Ignoring source layer loss2/ave_pool
I0319 22:27:51.368755  5080 net.cpp:702] Ignoring source layer loss2/conv
I0319 22:27:51.368762  5080 net.cpp:702] Ignoring source layer loss2/relu_conv
I0319 22:27:51.368768  5080 net.cpp:702] Ignoring source layer loss2/fc
I0319 22:27:51.368774  5080 net.cpp:702] Ignoring source layer loss2/relu_fc
I0319 22:27:51.368780  5080 net.cpp:702] Ignoring source layer loss2/drop_fc
I0319 22:27:51.368788  5080 net.cpp:702] Ignoring source layer loss2/classifier
I0319 22:27:51.368794  5080 net.cpp:702] Ignoring source layer loss2/loss
I0319 22:27:51.368800  5080 net.cpp:705] Copying source layer inception_4e/1x1
I0319 22:27:51.369971  5080 net.cpp:705] Copying source layer inception_4e/relu_1x1
I0319 22:27:51.369981  5080 net.cpp:705] Copying source layer inception_4e/3x3_reduce
I0319 22:27:51.370717  5080 net.cpp:705] Copying source layer inception_4e/relu_3x3_reduce
I0319 22:27:51.370725  5080 net.cpp:705] Copying source layer inception_4e/3x3
I0319 22:27:51.374668  5080 net.cpp:705] Copying source layer inception_4e/relu_3x3
I0319 22:27:51.374678  5080 net.cpp:705] Copying source layer inception_4e/5x5_reduce
I0319 22:27:51.374831  5080 net.cpp:705] Copying source layer inception_4e/relu_5x5_reduce
I0319 22:27:51.374840  5080 net.cpp:705] Copying source layer inception_4e/5x5
I0319 22:27:51.375728  5080 net.cpp:705] Copying source layer inception_4e/relu_5x5
I0319 22:27:51.375737  5080 net.cpp:705] Copying source layer inception_4e/pool
I0319 22:27:51.375744  5080 net.cpp:705] Copying source layer inception_4e/pool_proj
I0319 22:27:51.376332  5080 net.cpp:705] Copying source layer inception_4e/relu_pool_proj
I0319 22:27:51.376340  5080 net.cpp:705] Copying source layer inception_4e/output
I0319 22:27:51.376346  5080 net.cpp:705] Copying source layer pool4/3x3_s2
I0319 22:27:51.376353  5080 net.cpp:705] Copying source layer pool4/3x3_s2_pool4/3x3_s2_0_split
I0319 22:27:51.376359  5080 net.cpp:705] Copying source layer inception_5a/1x1
I0319 22:27:51.378186  5080 net.cpp:705] Copying source layer inception_5a/relu_1x1
I0319 22:27:51.378196  5080 net.cpp:705] Copying source layer inception_5a/3x3_reduce
I0319 22:27:51.379343  5080 net.cpp:705] Copying source layer inception_5a/relu_3x3_reduce
I0319 22:27:51.379353  5080 net.cpp:705] Copying source layer inception_5a/3x3
I0319 22:27:51.383293  5080 net.cpp:705] Copying source layer inception_5a/relu_3x3
I0319 22:27:51.383303  5080 net.cpp:705] Copying source layer inception_5a/5x5_reduce
I0319 22:27:51.383548  5080 net.cpp:705] Copying source layer inception_5a/relu_5x5_reduce
I0319 22:27:51.383558  5080 net.cpp:705] Copying source layer inception_5a/5x5
I0319 22:27:51.384449  5080 net.cpp:705] Copying source layer inception_5a/relu_5x5
I0319 22:27:51.384459  5080 net.cpp:705] Copying source layer inception_5a/pool
I0319 22:27:51.384465  5080 net.cpp:705] Copying source layer inception_5a/pool_proj
I0319 22:27:51.385397  5080 net.cpp:705] Copying source layer inception_5a/relu_pool_proj
I0319 22:27:51.385406  5080 net.cpp:705] Copying source layer inception_5a/output
I0319 22:27:51.385414  5080 net.cpp:705] Copying source layer inception_5a/output_inception_5a/output_0_split
I0319 22:27:51.385421  5080 net.cpp:705] Copying source layer inception_5b/1x1
I0319 22:27:51.388157  5080 net.cpp:705] Copying source layer inception_5b/relu_1x1
I0319 22:27:51.388166  5080 net.cpp:705] Copying source layer inception_5b/3x3_reduce
I0319 22:27:51.389539  5080 net.cpp:705] Copying source layer inception_5b/relu_3x3_reduce
I0319 22:27:51.389549  5080 net.cpp:705] Copying source layer inception_5b/3x3
I0319 22:27:51.395212  5080 net.cpp:705] Copying source layer inception_5b/relu_3x3
I0319 22:27:51.395225  5080 net.cpp:705] Copying source layer inception_5b/5x5_reduce
I0319 22:27:51.395584  5080 net.cpp:705] Copying source layer inception_5b/relu_5x5_reduce
I0319 22:27:51.395594  5080 net.cpp:705] Copying source layer inception_5b/5x5
I0319 22:27:51.396921  5080 net.cpp:705] Copying source layer inception_5b/relu_5x5
I0319 22:27:51.396931  5080 net.cpp:705] Copying source layer inception_5b/pool
I0319 22:27:51.396939  5080 net.cpp:705] Copying source layer inception_5b/pool_proj
I0319 22:27:51.397862  5080 net.cpp:705] Copying source layer inception_5b/relu_pool_proj
I0319 22:27:51.397871  5080 net.cpp:705] Copying source layer inception_5b/output
I0319 22:27:51.397879  5080 net.cpp:705] Copying source layer pool5/7x7_s1
I0319 22:27:51.397886  5080 net.cpp:705] Copying source layer pool5/drop_7x7_s1
I0319 22:27:51.397893  5080 net.cpp:705] Copying source layer loss3/classifier
I0319 22:27:51.406652  5080 net.cpp:702] Ignoring source layer loss3/loss3

材料集合：

http://deeplearning.net/2014/09/19/googles-entry-to-imagenet-2014-challenge/

[1] Imagenet 2014 LSVRC results, http://karpathy.github.io/2014/09/02/what-i-learned-from-competing-against-a-convnet-on-imagenet/,Last retrieved on: 19-09-2014.

[2] Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich, Going Deeper with Convolutions, Arxiv Link: http://arxiv.org/abs/1409.4842.

[3] GoogLeNet presentation, http://image-net.org/challenges/LSVRC/2014/slides/GoogLeNet.pptx, Last retrieved on: 19-09.2014..

[4] What I learned from competing against a convnet on imagenet, http://karpathy.github.io/2014/09/02/what-i-learned-from-competing-against-a-convnet-on-imagenet/, Last retrieved on: 19-09-2014.

[5] Girshick, Ross, et al. “Rich feature hierarchies for accurate object detection and semantic segmentation.” arXiv preprint arXiv:1311.2524 (2013).

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
简单了解 JVM 记得开心一点啊 jvm
目录♫什么是JVM♫JVM的运行流程♫JVM运行时数据区♪虚拟机栈♪本地方法栈♪堆♪程序计数器♪方法区/元数据区♫类加载的过程♫双亲委派模型♫垃圾回收机制♫什么是JVMJVM是JavaVirtualMachine的简称，意为Java虚拟机。虚拟机是指通过软件模拟的具有完整硬件功能的、运行在一个完全隔离的环境中的完整计算机系统（如：JVM、VMwave、VirtualBox）。JVM和其他两个虚拟机
JVM、JRE和 JDK：理解Java开发的三大核心组件 Y雨何时停T Java java
Java是一门跨平台的编程语言，它的成功离不开背后强大的运行环境与开发工具的支持。在Java的生态中，JVM（Java虚拟机）、JRE（Java运行时环境）和JDK（Java开发工具包）是三个至关重要的核心组件。本文将探讨JVM、JDK和JRE的区别，帮助你更好地理解Java的运行机制。1.JVM：Java虚拟机（JavaVirtualMachine）什么是JVM？JVM，即Java虚拟机，是Ja
深度 Qlearning：在直播推荐系统中的应用 AGI通用人工智能之禅程序员提升自我硅基计算碳基计算认知计算生物计算深度学习神经网络大数据 AIGC AGI LLM Java Python 架构设计 Agent 程序员实现财富自由
深度Q-learning：在直播推荐系统中的应用关键词：深度Q-learning,强化学习,直播推荐系统,个性化推荐1.背景介绍1.1问题的由来随着互联网技术的飞速发展,直播平台如雨后春笋般涌现。面对海量的直播内容,用户很难快速找到自己感兴趣的内容。因此,个性化推荐系统在直播平台中扮演着越来越重要的角色。1.2研究现状目前,主流的个性化推荐算法包括协同过滤、基于内容的推荐等。这些方法在一定程度上缓
管理员权限的软件不能开机自启动的解决方法 ss_ctrl
这是几种解决方法：1.将启动参数写入到32位注册表里面去在64位系统下我们64位的程序访问此HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Run注册表路径，是可以正确访问的，32位程序访问此注册表路径时，默认会被系统自动映射到HKEY_LOCAL_MACHINE\SOFTWARE\WOW6432Node\Microsoft
golang学习笔记--MPG模型 xxzed golang #学习笔记学习笔记 golang
MPG模式：M（Machine）：操作系统的主线程P（Processor）：协程执行需要的资源（上下文context），可以看作一个局部的调度器，使go代码在一个线程上跑，他是实现从N：1到N：M映射的关键G（Goroutine）：协程，有自己的栈。包含指令指针（instructionpointer）和其它信息（正在等待的channel等等），用于调度。一个P下面可以有多个G1、当前程序有三个M,
【开发环境搭建】Macbook M1搭建Java开发环境 weixin_44329069 java 开发语言
JDK安装与配置下载并安装JDK：ARM64DMG安装包下载链接：JDK21forMac(ARM64)。双击下载的DMG文件，按照提示安装JDK。配置环境变量：打开终端，使用vim编辑.bash_profile文件：vim~/.bash_profile在文件中添加以下内容来设置JAVA_HOME：exportJAVA_HOME=/Library/Java/JavaVirtualMachines/j
云服务业界动态简报-20180128 Captain7
一、青云青云QingCloud推出深度学习平台DeepLearningonQingCloud，包含了主流的深度学习框架及数据科学工具包，通过QingCloudAppCenter一键部署交付，可以让算法工程师和数据科学家快速构建深度学习开发环境，将更多的精力放在模型和算法调优。二、腾讯云1.腾讯云正式发布腾讯专有云TCE(TencentCloudEnterprise)矩阵，涵盖企业版、大数据版、AI
机器学习VS深度学习 nfgo 机器学习
机器学习（MachineLearning,ML）和深度学习（DeepLearning,DL）是人工智能（AI）的两个子领域，它们有许多相似之处，但在技术实现和应用范围上也有显著区别。下面从几个方面对两者进行区分：1.概念层面机器学习：是让计算机通过算法从数据中自动学习和改进的技术。它依赖于手动设计的特征和数学模型来进行学习，常用的模型有决策树、支持向量机、线性回归等。深度学习：是机器学习的一个子领
ResNet的半监督和半弱监督模型 Valar_Morghulis
Billion-scalesemi-supervisedlearningforimageclassificationhttps://arxiv.org/pdf/1905.00546.pdfhttps://github.com/facebookresearch/semi-supervised-ImageNet1K-models/权重在timm中也有：https://hub.fastgit.org/r
联邦学习 Federated learning Google I/O‘19 笔记努力搬砖的星期五笔记联邦学习机器学习机器学习 tensorflow
FederatedLearning:MachineLearningonDecentralizeddatahttps://www.youtube.com/watch?v=89BGjQYA0uE文章目录FederatedLearning:MachineLearningonDecentralizeddata1.DecentralizeddataEdgedevicesGboard:mobilekeyboa
PCL 怎样可视化深度图像 LeonDL168 PCL 计算机视觉人工智能视觉检测图像处理算法
本小节讲解如何可视化深度图像的两种方法，在3D视窗中以点云形式进行可视化（深度图像来源于点云），另一种是，将深度值映射为颜色，从而以彩色图像方式可视化深度图像。代码首先，在PCL（PointCloudLearning）中国协助发行的书提供光盘的第7章例2文件夹中，打开名为range_image_visualization.cpp的代码文件，同文件夹下可以找到相关的测试点云文件room_scan1.
FISCO BCOS（十七）——— go SDK的使用林中有神君 #FISCO BCOS 2.8.0 golang 服务器 linux fisco bcos 区块链
1、创建一个工作目录root@wyg-virtual-machine:~/fisco#mkdirgoWorkSpace2、下载go-sdkroot@wyg-virtual-machine:~/fisco/
Git报错（一）fatal: Could not read from remote repository. librarycode
解决方案来自CSDN：https://blog.csdn.net/cxwtsh123/article/details/79194263?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.control&dist_request_id=&depth_1-utm_source=distr
VOC数据集转换为CoCo数据集（亲测有效）情书学长人工智能学习笔记图像处理
#VOC数据集格式VOC格式的数据集分为3部分，Annotations、ImageSets、JPEGImages。（一）Annotations：存放数据标注的xml文件，格式如下：CUMID_train0001.pngC:\Users\86182\Desktop\CUMID_train\0001.pngUnknown2040136830MachineUnspecified0011933491451
【Vesta发号器源码】PropertyMachineIdsProvider DeanChangDM
Vesta发号器源码解析——PropertyMachineIdsProvider属性配置文件持有Id的模式,没啥东西，比单个的多了一个获取下一个的方法封装实现上略有一点点区别privatelong[]machineIds;privateintcurrentIndex;publiclonggetNextMachineId(){returngetMachineId();}publiclonggetMa
Awesome TensorFlow weixin_30594001 人工智能移动开发大数据
AwesomeTensorFlowAcuratedlistofawesomeTensorFlowexperiments,libraries,andprojects.Inspiredbyawesome-machine-learning.WhatisTensorFlow?TensorFlowisanopensourcesoftwarelibraryfornumericalcomputationusin
【ShuQiHere】探索人工智能核心：机器学习的奥秘 ShuQiHere 人工智能机器学习
【ShuQiHere】什么是机器学习？机器学习（MachineLearning,ML）是人工智能（ArtificialIntelligence,AI）中最关键的组成部分之一。它使得计算机不仅能够处理数据，还能从数据中学习，从而做出预测和决策。无论是语音识别、自动驾驶还是推荐系统，背后都依赖于机器学习模型。机器学习与传统的编程不同，它不再依赖于人类编写的固定规则，而是通过数据自我改进模型，从而更灵活
综述论文“A Survey of Zero-Shot Learning: Settings, Methods, and Applications” 硅谷秋水机器学习机器学习神经网络深度学习
该零样本学习综述，发表于ACMTrans.Intell.Syst.Technol.10,2,Article13(January2019)摘要：大多数机器学习方法着重于对已经在训练中看到其类别的实例进行分类。实际上，许多应用程序需要对实例进行分类，而这些实例的类以前没有见过。零样本学习（Zero-ShotLearning）是一种强大而有前途的学习范例，其中训练实例涵盖的类别与想分类的类别是不相交的。
go-etcd实战小书go golang 实战演练 golang etcd 服务发现服务注册微服务
etcd简介etcdisastronglyconsistent,distributedkey-valuestorethatprovidesareliablewaytostoredatathatneedstobeaccessedbyadistributedsystemorclusterofmachines.Itgracefullyhandlesleaderelectionsduringnetwork
梯度提升机 (Gradient Boosting Machines, GBM) ALGORITHM LOL boosting 集成学习机器学习
梯度提升机(GradientBoostingMachines,GBM)通俗易懂算法梯度提升机（GradientBoostingMachines，GBM）是一种集成学习算法，主要用于回归和分类问题。GBM本质上是通过训练一系列简单的模型（通常是决策树），然后将这些模型组合起来，从而提高整体预测性能。基本步骤初始模型：首先，我们用一个简单的模型（如一个常数值）作为预测模型，记为F0(x)F_0(x)F
机器学习 VS 表示学习 VS 深度学习 Efred.D 人工智能机器学习深度学习人工智能
文章目录前言一、机器学习是什么?二、表示学习三、深度学习总结前言本文主要阐述机器学习,表示学习和深度学习的原理和区别.一、机器学习是什么?机器学习(machinelearning),是从有限的数据集中学习到一定的规律,再把学到的规律应用到一些相似的样本集中做预测.机器学习的历史可以追溯到20世纪40年代McCulloch提出的人工神经元网络,目前学界大致把机器学习分为传统机器学习和机器学习两个类别
端到端的自动驾驶论文与代码整理大别山伧父自动驾驶
LearningbyCheatinggithubcodearxivpaperconferenceonrobotlearning最新进展(May2021)Checkoutourlatestfollow-upwork:WorldonRails(2020)Checkoutoursubmissiontothe2020CARLAChallenge!pass
JVM 架构 : 运行时数据区 & 内存结构光剑书架上的书
JVM:JavaVirtualMachine架构JVMArchitectureRuntimeDataArea/MemoryStructureClassloaderClassloaderisasubsysteminJVM,whichisprimarilyresponasibleforloadingthejavaclasses,thereare3differentclassloaders:Bootst
Lt-8 Multithreading yanlingyun0210 java
IntendedLearningOutcomesTounderstandtheconceptofconcurrency.Tounderstandthedifferenceofaprocessandathread.TodefineathreadusingtheThreadclassandRunnableinterface.TocontrolthreadswithvariousThreadmethod
如何使用Pytorch-Metric-Learning？鱼儿也有烦恼 PyTorch pytorch
文章目录如何使用Pytorch-Metric-Learning？1.Pytorch-Metric-Learning库9个模块的功能1.1Sampler模块1.2Miner模块1.3Loss模块1.4Reducer模块1.5Distance模块1.6Regularizer模块1.7Trainer模块1.8Tester模块1.9Utils模块2.如何使用PyTorchMetricLearning库中的
risc-v特权模式狮子座硅农（Leo ICer） risc-v
risc-v架构定义了3种工作模式，又称为特权模式（privilegedmode）。机器模式（machinemode），简称M模式；监督模式（supervisormode），简称S模式；用户模式（usermode），简称U模式。risc-v架构定义机器模式为必选模式，另外两种模式为可选模式，通过不同的模式组合可以实现不同的系统。risc-v架构支持几种不同的存储器地址管理机制，包括对物理地址和虚拟
推荐开源项目：PyTorch-Metric-Learning 潘惟妍
推荐开源项目：PyTorch-Metric-Learningpytorch-metric-learningTheeasiestwaytousedeepmetriclearninginyourapplication.Modular,flexible,andextensible.WritteninPyTorch.项目地址:https://gitcode.com/gh_mirrors/py/pytorc
推荐：FastAPI驱动的稳定扩散LLMs演示项目褚知茉Jade
推荐：FastAPI驱动的稳定扩散LLMs演示项目FastAPI-for-Machine-Learning-Live-DemoThisrepositorycontainsthefilestobuildyourveryownAIimagegenerationwebapplication!OutlinedarethecorecomponentsoftheFastAPIwebframework,anda
【python】【Ray的概述】资源存储库 python 开发语言
Overview概述Rayisanopen-sourceunifiedframeworkforscalingAIandPythonapplicationslikemachinelearning.Itprovidesthecomputelayerforparallelprocessingsothatyoudon’tneedtobeadistributedsystemsexpert.Rayminimi
html页面js获取参数值 0624chenhong html
1.js获取参数值js function GetQueryString(name) { var reg = new RegExp("(^|&)"+ name +"=([^&]*)(&|$)"); var r = windo
MongoDB 在多线程高并发下的问题 BigCat2013 mongodb DB 高并发重复数据
最近项目用到 MongoDB , 主要是一些读取数据及改状态位的操作. 因为是结合了最近流行的 Storm进行大数据的分析处理，并将分析结果插入Vertica数据库，所以在多线程高并发的情境下, 会发现 Vertica 数据库中有部分重复的数据. 这到底是什么原因导致的呢？笔者开始也是一筹莫展，重复去看 MongoDB 的 API , 终于有了新发现： com.mongodb.DB 这个类有
c++ 用类模版实现链表(c++语言程序设计第四版示例代码) CrazyMizzz 数据结构 C++
#include<iostream> #include<cassert> using namespace std; template<class T> class Node { private: Node<T> * next; public: T data;
最近情况麦田的设计者感慨考试生活
在五月黄梅天的岁月里，一年两次的软考又要开始了。到目前为止，我已经考了多达三次的软考，最后的结果就是通过了初级考试（程序员）。人啊，就是不满足，考了初级就希望考中级，于是，这学期我就报考了中级，明天就要考试。感觉机会不大，期待奇迹发生吧。这个学期忙于练车，写项目，反正最后是一团糟。后天还要考试科目二。这个星期真的是很艰难的一周，希望能快点度过。
linux系统中用pkill踢出在线登录用户被触发 linux
由于linux服务器允许多用户登录，公司很多人知道密码，工作造成一定的障碍所以需要有时踢出指定的用户 1/#who 查出当前有那些终端登录（用 w 命令更详细） # who root pts/0 2010-10-28 09:36 (192
仿QQ聊天第二版肆无忌惮_ qq
在第一版之上的改进内容: 第一版链接: http://479001499.iteye.com/admin/blogs/2100893 用map存起来号码对应的聊天窗口对象,解决私聊的时候所有消息发到一个窗口的问题. 增加ViewInfo类,这个是信息预览的窗口,如果是自己的信息,则可以进行编辑. 信息修改后上传至服务器再告诉所有用户,自己的窗口
java读取配置文件知了ing
1，java读取.properties配置文件 InputStream in; try { in = test.class.getClassLoader().getResourceAsStream("config/ipnetOracle.properties");//配置文件的路径 Properties p = new Properties()
__attribute__ 你知多少？矮蛋蛋 C++gcc
原文地址: http://www.cnblogs.com/astwish/p/3460618.html GNU C 的一大特色就是__attribute__ 机制。__attribute__ 可以设置函数属性（Function Attribute ）、变量属性（Variable Attribute ）和类型属性（Type Attribute ）。 __attribute__ 书写特征是：
jsoup使用笔记 alleni123 java 爬虫 JSoup
<dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.7.3</version> </dependency> 2014/08/28 今天遇到这种形式，
JAVA中的集合 Collectio 和Map的简单使用及方法百合不是茶 list map set
List ,set ,map的使用方法和区别 java容器类类库的用途是保存对象，并将其分为两个概念： Collection集合：一个独立的序列，这些序列都服从一条或多条规则;List必须按顺序保存元素，set不能重复元素；Queue按照排队规则来确定对象产生的顺序（通常与他们被插入的
杀LINUX的JOB进程 bijian1013 linux unix
今天发现数据库一个JOB一直在执行，都执行了好几个小时还在执行，所以想办法给删除掉系统环境： ORACLE 10G Linux操作系统操作步骤如下：第一步.查询出来那个job在运行，找个对应的SID字段 select * from dba_jobs_running--找到job对应的sid &n
Spring AOP详解 bijian1013 java spring AOP
最近项目中遇到了以下几点需求，仔细思考之后，觉得采用AOP来解决。一方面是为了以更加灵活的方式来解决问题，另一方面是借此机会深入学习Spring AOP相关的内容。例如，以下需求不用AOP肯定也能解决，至于是否牵强附会，仁者见仁智者见智。 1.对部分函数的调用进行日志记录，用于观察特定问题在运行过程中的函数调用
[Gson六]Gson类型适配器(TypeAdapter) bit1129 Adapter
TypeAdapter的使用动机 Gson在序列化和反序列化时，默认情况下，是按照POJO类的字段属性名和JSON串键进行一一映射匹配，然后把JSON串的键对应的值转换成POJO相同字段对应的值，反之亦然，在这个过程中有一个JSON串Key对应的Value和对象之间如何转换(序列化/反序列化)的问题。以Date为例，在序列化和反序列化时，Gson默认使用java.
【spark八十七】给定Driver Program，如何判断哪些代码在Driver运行，哪些代码在Worker上执行 bit1129 driver
Driver Program是用户编写的提交给Spark集群执行的application，它包含两部分作为驱动： Driver与Master、Worker协作完成application进程的启动、DAG划分、计算任务封装、计算任务分发到各个计算节点(Worker)、计算资源的分配等。计算逻辑本身，当计算任务在Worker执行时，执行计算逻辑完成application的计算任务
nginx 经验总结 ronin47 nginx 总结
　　　深感nginx的强大，只学了皮毛，把学下的记录。　　　获取Header 信息，一般是以$http_XX（ＸＸ是小写）获取body,通过接口，再展开，根据Ｋ取Ｖ　　　获取uri,以$arg_XX &n
轩辕互动-1.求三个整数中第二大的数2.整型数组的平衡点 bylijinnan 数组
import java.util.ArrayList; import java.util.Arrays; import java.util.List; public class ExoWeb { public static void main(String[] args) { ExoWeb ew=new ExoWeb(); System.out.pri
Netty源码学习-Java-NIO-Reactor bylijinnan java 多线程 netty
Netty里面采用了NIO-based Reactor Pattern 了解这个模式对学习Netty非常有帮助参考以下两篇文章： http://jeewanthad.blogspot.com/2013/02/reactor-pattern-explained-part-1.html http://gee.cs.oswego.edu/dl/cpjslides/nio.pdf
AOP通俗理解 cngolon spring AOP
1.我所知道的aop 初看aop,上来就是一大堆术语，而且还有个拉风的名字，面向切面编程，都说是OOP的一种有益补充等等。一下子让你不知所措，心想着：怪不得很多人都和我说aop多难多难。当我看进去以后，我才发现：它就是一些java基础上的朴实无华的应用，包括ioc，包括许许多多这样的名词，都是万变不离其宗而已。 2.为什么用aop&nb
cursor variable 实例 ctrain variable
create or replace procedure proc_test01 as type emp_row is record( empno emp.empno%type, ename emp.ename%type, job emp.job%type, mgr emp.mgr%type, hiberdate emp.hiredate%type, sal emp.sal%t
shell报bash: service: command not found解决方法 daizj linux shell service jps
今天在执行一个脚本时，本来是想在脚本中启动hdfs和hive等程序，可以在执行到service hive-server start等启动服务的命令时会报错，最终解决方法记录一下：脚本报错如下： ./olap_quick_intall.sh: line 57: service: command not found ./olap_quick_intall.sh: line 59
40个迹象表明你还是PHP菜鸟 dcj3sjt126com 设计模式 PHP 正则表达式 oop
你是PHP菜鸟，如果你：1. 不会利用如phpDoc 这样的工具来恰当地注释你的代码2. 对优秀的集成开发环境如Zend Studio 或Eclipse PDT 视而不见3. 从未用过任何形式的版本控制系统，如Subclipse4. 不采用某种编码与命名标准，以及通用约定，不能在项目开发周期里贯彻落实5. 不使用统一开发方式6. 不转换（或）也不验证某些输入或SQL查询串（译注：参考PHP相关函
Android逐帧动画的实现 dcj3sjt126com android
一、代码实现： private ImageView iv; private AnimationDrawable ad; @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout
java远程调用linux的命令或者脚本 eksliang linux ganymed-ssh2
转载请出自出处： http://eksliang.iteye.com/blog/2105862 Java通过SSH2协议执行远程Shell脚本(ganymed-ssh2-build210.jar) 使用步骤如下： 1.导包官网下载: http://www.ganymed.ethz.ch/ssh2/ ma
adb端口被占用问题 gqdy365 adb
最近重新安装的电脑，配置了新环境，老是出现： adb server is out of date. killing... ADB server didn't ACK * failed to start daemon * 百度了一下，说是端口被占用，我开个eclipse，然后打开cmd，就提示这个，很烦人。一个比较彻底的解决办法就是修改
ASP.NET使用FileUpload上传文件 hvt .net C#hovertree asp.net webform
前台代码： <asp:FileUpload ID="fuKeleyi" runat="server" /> <asp:Button ID="BtnUp" runat="server" onclick="BtnUp_Click" Text="上传" />
代码之谜（四）- 浮点数（从惊讶到思考） justjavac 浮点数精度代码之谜 IEEE
在『代码之谜』系列的前几篇文章中，很多次出现了浮点数。浮点数在很多编程语言中被称为简单数据类型，其实，浮点数比起那些复杂数据类型（比如字符串）来说，一点都不简单。单单是说明 IEEE浮点数就可以写一本书了，我将用几篇博文来简单的说说我所理解的浮点数，算是抛砖引玉吧。一次面试记得多年前我招聘 Java 程序员时的一次关于浮点数、二分法、编码的面试，多年以后，他已经称为了一名很出色的
数据结构随记_1 lx.asymmetric 数据结构笔记
第一章 1.数据结构包括数据的逻辑结构、数据的物理/存储结构和数据的逻辑关系这三个方面的内容。 2.数据的存储结构可用四种基本的存储方法表示，它们分别是顺序存储、链式存储、索引存储和散列存储。 3.数据运算最常用的有五种，分别是查找/检索、排序、插入、删除、修改。 4.算法主要有以下五个特性：输入、输出、可行性、确定性和有穷性。 5.算法分析的
linux的会话和进程组网络接口 linux
会话：一个或多个进程组。起于用户登录，终止于用户退出。此期间所有进程都属于这个会话期。会话首进程：调用setsid创建会话的进程1.规定组长进程不能调用setsid，因为调用setsid后，调用进程会成为新的进程组的组长进程.如何保证？先调用fork，然后终止父进程，此时由于子进程的进程组ID为父进程的进程组ID，而子进程的ID是重新分配的，所以保证子进程不会是进程组长，从而子进程可以调用se
二维数组元素的连续求解 1140566087 二维数组 ACM
import java.util.HashMap; public class Title { public static void main(String[] args){ f(); } // 二位数组的应用 //12、二维数组中，哪一行或哪一列的连续存放的0的个数最多，是几个0。注意，是“连续”。 public static void f(){
也谈什么时候Java比C++快 windshome java C++
刚打开iteye就看到这个标题“Java什么时候比C++快”，觉得很好笑。你要比，就比同等水平的基础上的相比，笨蛋写得C代码和C++代码，去和高手写的Java代码比效率，有什么意义呢？我是写密码算法的，深刻知道算法C和C++实现和Java实现之间的效率差，甚至也比对过C代码和汇编代码的效率差，计算机是个死的东西，再怎么优化，Java也就是和C

学习笔记：GoogLeNet

你可能感兴趣的:(Machine,Learning)