2014wzy
2014wzy

【Caffe安装】caffe安装系列——史上最详细的安装步骤

说明

  • 网上关于caffe的安装教程非常多，但是关于每一步是否操作成功，出现了什么样的错误又该如何处理没有给出说明。因为大家的操作系统的环境千差万别，按照博客中的教程一步步的安装，最后可能失败——这是很常见的哦。有的教程甚至省略了一些细节部分，让小白更不知道如何判断每一步是否操作成功，如何处理出现的错误。
  • 作者花费了很长时间才成功地将caffe装完，期间遇到好多错误，多次重装操作系统。现在将经验写下来，一方面为了和大家分享，讨论；另一方面是为了记录一下下~~~

环境

操作系统：Ubuntu 14.04
GCC/G++:4.7.x
OpenCV:2.4.11和3.0.0
Matlab :R2014b(a)
Python:2.7

安装步骤

  • 综述
  • 0.准备工作
  • 1.安装GCC4.7和G++4.7并降级
  • 2.安装显卡驱动
  • 3.安装cuda和cudnn
  • 4.安装Matlab
  • 5.安装OpenCV
  • 6.安装Python依赖包
  • 7.安装caffe

介绍

0.准备工作

  • 安装Ubuntu 14.04（15.04）,最好安装较新版本的Ubuntu。为什么选择Ubuntu呢？一方面，个人使用习惯，感觉Ubuntu安装软件等特别方便，使用特别顺手；另一方面，caffe项目最初貌似在Ubuntu上开发的，原生嘛。
  • 安装过程需要下载东东，因此需要联网。
  • 安装

1.安装GCC4.7和G++4.7并降级

  • 为什么要先安装GCC和G++，并需要降级呢？
  • Ubuntu14.04版本默认的GCC和G++都是4.8。而Matlab默认支持的mex编译器是GCC4.7.x和G++4.7.x。因此需要额外安装GCC4.7和G++4.7并降级。
  • 为什么需要先安装编译器GCC和G++，而不是先安装显卡驱动和cuda等等呢？
  • 首先，先安装显卡驱动，后安装GCC并降级的安装顺序过程中，遇到了很多问题。比如，在安装CUDA SAMPLES的过程中，遇到了问题/usr/bin/ld: cannot find –lGL，后面通过网上教程，重新连接该库文件，仍然不能通过OpenCV的编译。但是，先安装GCC，再安装显卡驱动，就不会遇到这个问题了。

  • 其次，请先看下图。这是在成功地安装完显卡驱动之后，查看加载的显卡的版本信息时返回的结果。注意，包含了GCC4.7.3。说明，显卡安装过程中，会和GCC的版本产生联系。。。。这也就不不难理解为什么在编译Cuda Samples过程中会遇到上面的问题。
    这里写图片描述

  • 所以，请先安装GCC4.7和G++4.7，然后在执行下面的步骤。

2.安装NVIDIA显卡驱动

  • 为什么需要安装NVIDIA显卡驱动，Ubuntu没有自带的显卡驱动吗？
  • Ubuntu自带的显卡驱动是开源的Nouveau，据说是一个比较烂的东东。而且，最关键的是cuda不支持Nouveau。如果想使用cuda进行GPU计算，必须安装NVIDIA显卡驱动。
  • 选择哪个版本的显卡驱动呢
  • 这个问题需要结合操作系统，显卡和个人需求来讨论。
  • 操作系统影响显卡驱动的版本。比如，我在Ubuntu14.04 Server上安装NVIDIA-352显卡驱动，说是由于dkms，安装失败。目前，通过apt-get方式可以安装的最新NVIDIA显卡驱动是NVIDIA-346。
  • 显卡嘛，硬件当然要和驱动适应才行
  • 个人需求，主要从cuda的角度考虑。比如cuda7.5需要显卡驱动最低版本是nvidia-352；cuda7.0需要显卡驱动最低版本是nvidia-336；cuda6.5需要显卡驱动最低版本是nvidia-33*；其他的记不清楚啦。。。
  • 显卡驱动的安装方式有哪些
  • 方法一：去NVIDIA官网下载相应的驱动二进制安装包，然后安装。
  • 方法二：通过apt-get来安装。
  • 区别：apt-get安装方便，但是不能安装最新的显卡驱动，目前ubuntu14.04通过apt-get可以安装nvidia-346显卡。
  • 安装过程中注意事项：①需要关闭显示管理器，②二进制安装需要修改文件，并重启。

3.安装cuda和cudnn

  • 安装cuda的方式有哪些？
  • 方法一：官网下载cuda开发包的二进制安装包进行安装。
  • 方法二：官网下载cuda开发包的deb文件进行安装。
  • cuda版本的选择问题？
  • 根据个人需求和操作系统来决定，显卡驱动版本。
  • cuda6.5是一个分界点，cuda6.5支持compute_11，compute_12. etc. compute_1X系列架构；从cuda7.0开始，不支持compute_1X系列架构，最低是compute_20架构。
  • cuda对显卡驱动有要求。比如cuda7.5需要显卡驱动最低版本是nvidia-352；cuda7.0需要显卡驱动最低版本是nvidia-336；cuda6.5需要显卡驱动最低版本是nvidia-33*；其他的记不清楚啦。因此，结合自己操作系统可以安装的NVIDIA显卡驱动来决定选择哪个版本的cuda。
  • 为什么安装cudnn？
  • cudnn可以简单的理解为CUDa cNN，即在GPU上做卷积运算。最近几年，深度学习很火，尤其是CNN（卷积神经网络）。通过cudnn，可以极大的提高CNN训练速度。简单的说，实用GPU是为了快，实用cudnn是为了更快。

4.安装Matlab

  • 在Ubuntu中安装Matlab比较简单，除了几个注意事项，和Windows中安装没有区别。
  • 为什么需要安装Matlab？
  • caffe有Matlab的接口，因此如果需要使用Matlab调用caffe，进行编程，就需要安装Matlab。如果你觉得使用C或Python编程比较难，就请安装Matlab。当然如果不需要，并且后面不会编译caffe生成Matlab的接口，就不需要安装Matlab了。这个纯粹根据个人需求来定。
  • Matlab是商业软件，请自行百度下载。。。【主要是太大了，不方便提供】

5.安装OpenCV

  • 为什么需要安装OpenCV？
  • caffe是用来做深度学习的，深度学习的一大应用对象就是图像和视频。而OpenCV是目前最火的开源计算机视觉库，非常多的项目多用到了OpenCV，当然caffe也依赖OpenCV。所以，需要安装OpenCV，否则无法使用caffe哦。。。
  • OpenCV安装简单吗？
  • 答案是因人而异。有的人觉得简单，可以自己弄，有的人觉得难，没关系，大神们有写的安装脚本点此*下载，运行一下就OK了。
  • 但是，使用别人脚本安装的方法，也会遇到一些问题。如果遇到问题，请Google解决。
  • 最简单的方式是使用我修改过的脚本，按照顺序执行12345个脚本，基本不需要修改就能成功安装。
  • 最后提醒，安装OpenCV是挺麻烦的，请耐心安装，编译不过的话，查看错误Google，解决了再编译，一遍遍的尝试，最后就能解决问题了。
  • 应该安装OpenCV哪个版本呢？
  • OpenCV的版本和cuda的版本最好匹配。这样子安排的目的是为了减少错误出现的概率。比如，我无错误编译成功的组合有【cuda7.0 + opencv3.0】，【cuda6.5+opencv2.11】。
  • 应该安装最新的，又不该安装最新的。呵呵，好别扭哦。针对于低版本的cuda，最好安装opencv2.x。而且是opencv2.x中最新的。
  • 低版本cuda安装opencv2.x的原因是，opencv的一些文件中涉及一些关于cuda架构的设置，opencv2.x中有支持相应的架构的配置。从这个角度看，cuda6.5是最保险的， 因为它既支持compute_1x，也支持更高的架构。

6.安装Python相关依赖

  • 为什么要安装python相关依赖？？？
  • 首先，python在linux中应用非常的广泛，很多项目都会涉及python，caffe也不例外。
  • 其次，caffe提供了python的接口，为了后面使用，也需要这些依赖。
  • 这些依赖都可以通过apt-get安装吗？
  • 答案是否定的。
  • 首先，google一下apt-get vs pip，查看两者区别。
  • 其次，安装theano的时候，发现apt-get安装的numPy和sciPy无法通过测试，并且造成theano测试失败。使用pip安装成功。参考《Ubuntu14.04安装Theano详细教程》。
  • 最后，在安装caffe的过程中，发现有几个python依赖包必须通过pip安装（即自行编译），否则无法成功地编译caffe。

6.安装caffe

  • 再重复一遍，请在上面所有步骤成功执行的前提下，安装caffe，否则编译肯定不会通过的。
  • caffe源代码能不能直接拿过来编译呢？
  • 不能。至少需要修改一个文件Makefile.config。该文件给caffe编译提供了必要的信息。
  • 如果opencv的版本是3.0，还需要修改其他项。
  • 其他的请参考安装caffe的教程

总结

  • 至此，ubuntu下安装caffe的工作已经结束了。如果你完全按照本教程操作，相信你一定已经成功安装caffe了，并且对caffe有了一定的了解。
  • 世上无难事只怕有坚持，安装过程虽然很复杂，但是只要坚持，不断的Google解决它，caffe就一定能安装。
  • 错误不可怕，它是成功的障碍，同时也为我们成长提供了阶梯——所谓的能力，很大一部分是通过不断解决问题来获取的。
  • 下面开始学习如何使用caffe做深度学习的研究喽，祝大家学习愉快。。。

参考

《Caffe + Ubuntu 15.04 + CUDA 7.0 新手安装配置指南》——欧新宇
这个教程很好，请查看本教程的过程中，结合欧新宇的教程一并查看。
《caffe - GitHub主页》

网络结构在线可视化工具

http://ethereon.github.io/netscope/#/editor

参考主页：

caffe 可视化的资料可在百度云盘下载 
链接: http://pan.baidu.com/s/1jIRJ6mU 
提取密码：xehi

http://cs.stanford.edu/people/karpathy/cnnembed/

http://lijiancheng0614.github.io/2015/08/21/2015_08_21_CAFFE_Features/ 
http://nbviewer.ipython.org/github/BVLC/caffe/blob/master/examples/00-classification.ipynb 
http://www.cnblogs.com/platero/p/3967208.html 
http://caffe.berkeleyvision.org/gathered/examples/feature_extraction.html 
http://caffecn.cn/?/question/21

caffe程序是由c++语言写的，本身是不带数据可视化功能的。只能借助其它的库或接口，如OpenCV, Python或matlab。使用python接口来进行可视化，因为python出了个比较强大的东西：ipython notebook, 最新版本改名叫jupyter notebook，它能将python代码搬到浏览器上去执行，以富文本方式显示，使得整个工作可以以笔记的形式展现、存储，对于交互编程、学习非常方便。

使用CAFFE（ http://caffe.berkeleyvision.org ）运行CNN网络，并提取出特征，将其存储成lmdb以供后续使用，亦可以对其可视化

使用已训练好的模型进行图像分类在 http://nbviewer.ipython.org/github/BVLC/caffe/blob/master/example/00-classification.ipynb 中已经很详细地介绍了怎么使用已训练好的模型对测试图像进行分类了。由于CAFFE不断更新，这个页面的内容和代码也会更新。以下只记录当前能运行的主要步骤。下载CAFFE，并安装相应的dependencies，说白了就是配置好caffe。

1. 下载CAFFE，并安装相应的dependencies，说白了就是配置好caffe运行环境。

2. 配置好 python ipython notebook,具体可参考网页:

http://blog.csdn.net/jiandanjinxin/article/details/50409448 
3. 在caffe_root下运行./scripts/download_model_binary.py models/bvlc_reference_caffenet获得预训练的CaffeNet。获取CaffeNet网络并储存到models/bvlc_reference_caffenet目录下。

cd caffe-root
python ./scripts/download_model_binary.py models/bvlc_reference_caffenet
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
     
     
     
     
  4. 在python文件夹下进入ipython模式（或python，但需要把部分代码注释掉）运行以下代码        

cd ./python  #（×）  后面会提到
ipython notebook 
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    •

在命令行输入 ipython notebook,会出现一下画面 
这里写图片描述

  接着 点击  New Notebook，就可以输入代码，按 shift+enter 执行

这里写图片描述

python环境不能单独配置，必须要先编译好caffe，才能编译python环境。

安装jupyter

sudo pip install jupyter
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    •

安装成功后，运行notebook

jupyter notebook
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
     
     
     
     
  输入下面代码：

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

# Make sure that caffe is on the python path:
caffe_root = '../'  
# this file is expected to be in {caffe_root}/examples
#这里注意路径一定要设置正确,记得前后可能都有“/”,路径的使用是
#{caffe_root}/examples,记得 caffe-root 中的 python 文件夹需要包括 caffe 文件夹。

#caffe_root = '/home/bids/caffer-root/' #为何设置为具体路径反而不能运行呢

import sys
sys.path.insert(0, caffe_root + 'python')
import caffe #把 ipython 的路径改到指定的地方(这里是说刚开始在终端输入ipython notebook命令时，一定要确保是在包含caffe的python文件夹，这就是上面代码（×）),以便可以调入 caffe 模块,如果不改路径,import 这个指令只会在当前目录查找,是找不到 caffe 的。

plt.rcParams['figure.figsize'] = (10, 10)
plt.rcParams['image.interpolation'] = 'nearest'
plt.rcParams['image.cmap'] = 'gray'
#显示的图表大小为 10,图形的插值是以最近为原则,图像颜色是灰色

import os
if not os.path.isfile(caffe_root + 'models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel'):
    print("Downloading pre-trained CaffeNet model...")
    !../scripts/download_model_binary.py ../models/bvlc_reference_caffenet

#设置网络为测试阶段，并加载网络模型prototxt和数据平均值mean_npy

caffe.set_mode_cpu()# 采用CPU运算
net = caffe.Net(caffe_root + 'models/bvlc_reference_caffenet/deploy.prototxt',caffe_root + 'models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel',caffe.TEST)

# input preprocessing: 'data' is the name of the input blob == net.inputs[0]
transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape})
transformer.set_transpose('data', (2,0,1))
transformer.set_mean('data', np.load(caffe_root + 'python/caffe/imagenet/ilsvrc_2012_mean.npy').mean(1).mean(1)) 
# mean pixel，ImageNet的均值
transformer.set_raw_scale('data', 255) 
# the reference model operates on images in [0,255] range instead of [0,1]。参考模型运行在【0,255】的灰度,而不是【0,1】

transformer.set_channel_swap('data', (2,1,0))  

# the reference model has channels in BGR order instead of RGB，因为参考模型本来频道是 BGR,所以要将RGB转换

# set net to batch size of 50
net.blobs['data'].reshape(50,3,227,227)

#加载测试图片，并预测分类结果。

net.blobs['data'].data[...] = transformer.preprocess('data', caffe.io.load_image(caffe_root + 'examples/images/cat.jpg'))
out = net.forward()
print("Predicted class is #{}.".format(out['prob'][0].argmax()))

plt.imshow(transformer.deprocess('data', net.blobs['data'].data[0]))

# load labels,加载标签，并输出top_k
imagenet_labels_filename = caffe_root + 'data/ilsvrc12/synset_words.txt'
try:
    labels = np.loadtxt(imagenet_labels_filename, str, delimiter='\t')
except:
    !../data/ilsvrc12/get_ilsvrc_aux.sh
    labels = np.loadtxt(imagenet_labels_filename, str, delimiter='\t')
# sort top k predictions from softmax output

top_k = net.blobs['prob'].data[0].flatten().argsort()[-1:-6:-1]
print labels[top_k]


# CPU 与 GPU 比较运算时间
# CPU mode

net.forward()  # call once for allocation
%timeit net.forward()

# GPU mode
caffe.set_device(0)
caffe.set_mode_gpu()
net.forward()  # call once for allocation
%timeit net.forward()

#****提取特征并可视化****

#网络的特征存储在net.blobs，参数和bias存储在net.params，以下代码输出每一层的名称和大小。这里亦可手动把它们存储下来。

[(k, v.data.shape) for k, v in net.blobs.items()]

#显示出各层的参数和形状,第一个是批次,第二个 feature map 数目,第三和第四是每个神经元中图片的长和宽,可以看出,输入是 227*227 的图片,三个频道,卷积是 32 个卷积核卷三个频道,因此有 96 个 feature map

[(k, v[0].data.shape) for k, v in net.params.items()]
#输出:一些网络的参数

#**可视化的辅助函数**
# take an array of shape (n, height, width) or (n, height, width, channels)用一个格式是(数量,高,宽)或(数量,高,宽,频道)的阵列
# and visualize each (height, width) thing in a grid of size approx. sqrt(n) by sqrt(n)每个可视化的都是在一个由一个个网格组成

def vis_square(data, padsize=1, padval=0):
    data -= data.min()
    data /= data.max()

    # force the number of filters to be square
    n = int(np.ceil(np.sqrt(data.shape[0])))
    padding = ((0, n ** 2 - data.shape[0]), (0, padsize), (0, padsize)) + ((0, 0),) * (data.ndim - 3)
    data = np.pad(data, padding, mode='constant', constant_values=(padval, padval))

    # tile the filters into an image
    data = data.reshape((n, n) + data.shape[1:]).transpose((0, 2, 1, 3) + tuple(range(4, data.ndim + 1)))
    data = data.reshape((n * data.shape[1], n * data.shape[3]) + data.shape[4:])

    plt.imshow(data)


#根据每一层的名称，选择需要可视化的层，可以可视化filter（参数）和output（特征）
# the parameters are a list of [weights, biases],各层的特征，第一个卷积层，共96个过滤器
filters = net.params['conv1'][0].data
vis_square(filters.transpose(0, 2, 3, 1))
#使用 ipt.show()观看图像

#过滤后的输出,96 张 featuremap
feat = net.blobs['conv1'].data[4, :96]
vis_square(feat, padval=1)
#使用 ipt.show()观看图像:

feat = net.blobs['conv1'].data[0, :36]
vis_square(feat, padval=1)


#第二个卷积层:有 128 个滤波器,每个尺寸为 5X5X48。我们只显示前面 48 个滤波器,每一个滤波器为一行。输入:
filters = net.params['conv2'][0].data
vis_square(filters[:48].reshape(48**2, 5, 5))
#使用 ipt.show()观看图像:

#第二层输出 256 张 feature,这里显示 36 张。输入:
feat = net.blobs['conv2'].data[4, :36]
vis_square(feat, padval=1)
#使用 ipt.show()观看图像

feat = net.blobs['conv2'].data[0, :36]
vis_square(feat, padval=1)

#第三个卷积层:全部 384 个 feature map,输入:
feat = net.blobs['conv3'].data[4]
vis_square(feat, padval=0.5)
#使用 ipt.show()观看图像:

#第四个卷积层:全部 384 个 feature map,输入:
feat = net.blobs['conv4'].data[4]
vis_square(feat, padval=0.5)
#使用 ipt.show()观看图像:

#第五个卷积层:全部 256 个 feature map,输入:
feat = net.blobs['conv5'].data[4]
vis_square(feat, padval=0.5)
#使用 ipt.show()观看图像:

#第五个 pooling 层:我们也可以观察 pooling 层,输入:
feat = net.blobs['pool5'].data[4]
vis_square(feat, padval=1)
#使用 ipt.show()观看图像:

#用caffe 的python接口提取和保存特征比较方便。
features = net.blobs['conv5'].data  # 提取卷积层 5 的特征
np.savetxt('conv5_feature.txt', features) # 将特征存储到本文文件中


#然后我们看看第六层(第一个全连接层)输出后的直方分布:
feat = net.blobs['fc6'].data[4]
plt.subplot(2, 1, 1)
plt.plot(feat.flat)
plt.subplot(2, 1, 2)
_ = plt.hist(feat.flat[feat.flat > 0], bins=100)
#使用 ipt.show()观看图像:

#第七层（第二个全连接层）输出后的直方分布:可以看出值的分布没有这么平均了。
feat = net.blobs['fc7'].data[4]
plt.subplot(2, 1, 1)
plt.plot(feat.flat)
plt.subplot(2, 1, 2)
_ = plt.hist(feat.flat[feat.flat > 0], bins=100)
#使用 ipt.show()观看图像:

#The final probability output, prob
feat = net.blobs['prob'].data[0]
plt.plot(feat.flat)


#最后看看标签:Let's see the top 5 predicted labels.
# load labels
imagenet_labels_filename = caffe_root + 'data/ilsvrc12/synset_words.txt'
try:
    labels = np.loadtxt(imagenet_labels_filename, str, delimiter='\t')
except:
    !../data/ilsvrc12/get_ilsvrc_aux.sh
    labels = np.loadtxt(imagenet_labels_filename, str, delimiter='\t')

# sort top k predictions from softmax output
top_k = net.blobs['prob'].data[0].flatten().argsort()[-1:-6:-1]
print labels[top_k]

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
      
      
      
      
  • 4
    • 
      
      
      
      
  • 5
    • 
      
      
      
      
  • 6
    • 
      
      
      
      
  • 7
    • 
      
      
      
      
  • 8
    • 
      
      
      
      
  • 9
    • 
      
      
      
      
  • 10
    • 
      
      
      
      
  • 11
    • 
      
      
      
      
  • 12
    • 
      
      
      
      
  • 13
    • 
      
      
      
      
  • 14
    • 
      
      
      
      
  • 15
    • 
      
      
      
      
  • 16
    • 
      
      
      
      
  • 17
    • 
      
      
      
      
  • 18
    • 
      
      
      
      
  • 19
    • 
      
      
      
      
  • 20
    • 
      
      
      
      
  • 21
    • 
      
      
      
      
  • 22
    • 
      
      
      
      
  • 23
    • 
      
      
      
      
  • 24
    • 
      
      
      
      
  • 25
    • 
      
      
      
      
  • 26
    • 
      
      
      
      
  • 27
    • 
      
      
      
      
  • 28
    • 
      
      
      
      
  • 29
    • 
      
      
      
      
  • 30
    • 
      
      
      
      
  • 31
    • 
      
      
      
      
  • 32
    • 
      
      
      
      
  • 33
    • 
      
      
      
      
  • 34
    • 
      
      
      
      
  • 35
    • 
      
      
      
      
  • 36
    • 
      
      
      
      
  • 37
    • 
      
      
      
      
  • 38
    • 
      
      
      
      
  • 39
    • 
      
      
      
      
  • 40
    • 
      
      
      
      
  • 41
    • 
      
      
      
      
  • 42
    • 
      
      
      
      
  • 43
    • 
      
      
      
      
  • 44
    • 
      
      
      
      
  • 45
    • 
      
      
      
      
  • 46
    • 
      
      
      
      
  • 47
    • 
      
      
      
      
  • 48
    • 
      
      
      
      
  • 49
    • 
      
      
      
      
  • 50
    • 
      
      
      
      
  • 51
    • 
      
      
      
      
  • 52
    • 
      
      
      
      
  • 53
    • 
      
      
      
      
  • 54
    • 
      
      
      
      
  • 55
    • 
      
      
      
      
  • 56
    • 
      
      
      
      
  • 57
    • 
      
      
      
      
  • 58
    • 
      
      
      
      
  • 59
    • 
      
      
      
      
  • 60
    • 
      
      
      
      
  • 61
    • 
      
      
      
      
  • 62
    • 
      
      
      
      
  • 63
    • 
      
      
      
      
  • 64
    • 
      
      
      
      
  • 65
    • 
      
      
      
      
  • 66
    • 
      
      
      
      
  • 67
    • 
      
      
      
      
  • 68
    • 
      
      
      
      
  • 69
    • 
      
      
      
      
  • 70
    • 
      
      
      
      
  • 71
    • 
      
      
      
      
  • 72
    • 
      
      
      
      
  • 73
    • 
      
      
      
      
  • 74
    • 
      
      
      
      
  • 75
    • 
      
      
      
      
  • 76
    • 
      
      
      
      
  • 77
    • 
      
      
      
      
  • 78
    • 
      
      
      
      
  • 79
    • 
      
      
      
      
  • 80
    • 
      
      
      
      
  • 81
    • 
      
      
      
      
  • 82
    • 
      
      
      
      
  • 83
    • 
      
      
      
      
  • 84
    • 
      
      
      
      
  • 85
    • 
      
      
      
      
  • 86
    • 
      
      
      
      
  • 87
    • 
      
      
      
      
  • 88
    • 
      
      
      
      
  • 89
    • 
      
      
      
      
  • 90
    • 
      
      
      
      
  • 91
    • 
      
      
      
      
  • 92
    • 
      
      
      
      
  • 93
    • 
      
      
      
      
  • 94
    • 
      
      
      
      
  • 95
    • 
      
      
      
      
  • 96
    • 
      
      
      
      
  • 97
    • 
      
      
      
      
  • 98
    • 
      
      
      
      
  • 99
    • 
      
      
      
      
  • 100
    • 
      
      
      
      
  • 101
    • 
      
      
      
      
  • 102
    • 
      
      
      
      
  • 103
    • 
      
      
      
      
  • 104
    • 
      
      
      
      
  • 105
    • 
      
      
      
      
  • 106
    • 
      
      
      
      
  • 107
    • 
      
      
      
      
  • 108
    • 
      
      
      
      
  • 109
    • 
      
      
      
      
  • 110
    • 
      
      
      
      
  • 111
    • 
      
      
      
      
  • 112
    • 
      
      
      
      
  • 113
    • 
      
      
      
      
  • 114
    • 
      
      
      
      
  • 115
    • 
      
      
      
      
  • 116
    • 
      
      
      
      
  • 117
    • 
      
      
      
      
  • 118
    • 
      
      
      
      
  • 119
    • 
      
      
      
      
  • 120
    • 
      
      
      
      
  • 121
    • 
      
      
      
      
  • 122
    • 
      
      
      
      
  • 123
    • 
      
      
      
      
  • 124
    • 
      
      
      
      
  • 125
    • 
      
      
      
      
  • 126
    • 
      
      
      
      
  • 127
    • 
      
      
      
      
  • 128
    • 
      
      
      
      
  • 129
    • 
      
      
      
      
  • 130
    • 
      
      
      
      
  • 131
    • 
      
      
      
      
  • 132
    • 
      
      
      
      
  • 133
    • 
      
      
      
      
  • 134
    • 
      
      
      
      
  • 135
    • 
      
      
      
      
  • 136
    • 
      
      
      
      
  • 137
    • 
      
      
      
      
  • 138
    • 
      
      
      
      
  • 139
    • 
      
      
      
      
  • 140
    • 
      
      
      
      
  • 141
    • 
      
      
      
      
  • 142
    • 
      
      
      
      
  • 143
    • 
      
      
      
      
  • 144
    • 
      
      
      
      
  • 145
    • 
      
      
      
      
  • 146
    • 
      
      
      
      
  • 147
    • 
      
      
      
      
  • 148
    • 
      
      
      
      
  • 149
    • 
      
      
      
      
  • 150
    • 
      
      
      
      
  • 151
    • 
      
      
      
      
  • 152
    • 
      
      
      
      
  • 153
    • 
      
      
      
      
  • 154
    • 
      
      
      
      
  • 155
    • 
      
      
      
      
  • 156
    • 
      
      
      
      
  • 157
    • 
      
      
      
      
  • 158
    • 
      
      
      
      
  • 159
    • 
      
      
      
      
  • 160
    • 
      
      
      
      
  • 161
    • 
      
      
      
      
  • 162
    • 
      
      
      
      
  • 163
    • 
      
      
      
      
  • 164
    • 
      
      
      
      
  • 165
    • 
      
      
      
      
  • 166
    • 
      
      
      
      
  • 167
    • 
      
      
      
      
  • 168
    • 
      
      
      
      
  • 169
    • 
      
      
      
      
  • 170
    • 
      
      
      
      
  • 171
    • 
      
      
      
      
  • 172
    • 
      
      
      
      
  • 173
    • 
      
      
      
      
  • 174
    • 
      
      
      
      
  • 175
    • 
      
      
      
      
  • 176
    • 
      
      
      
      
  • 177
    • 
      
      
      
      
  • 178
    • 
      
      
      
      
  • 179
    • 
      
      
      
      
  • 180
    • 
      
      
      
      
  • 181
    • 
      
      
      
      
  • 182
    • 
      
      
      
      
  • 183
    • 
      
      
      
      
  • 184
    • 
      
      
      
      
  • 185
    • 
      
      
      
      
  • 186
    • 
      
      
      
      
  • 187
    • 
      
      
      
      
  • 188
    • 
      
      
      
      
  • 189
    • 
      
      
      
      
  • 190
    • 
      
      
      
      
  • 191
    • 
      
      
      
      
  • 192
    • 
      
      
      
      
  • 193
    • 
      
      
      
      
  • 194
    • 
      
      
      
      
  • 195
    • 
      
      
      
      
  • 196
    • 
      
      
      
      
  • 197
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
      
      
      
      
  • 4
    • 
      
      
      
      
  • 5
    • 
      
      
      
      
  • 6
    • 
      
      
      
      
  • 7
    • 
      
      
      
      
  • 8
    • 
      
      
      
      
  • 9
    • 
      
      
      
      
  • 10
    • 
      
      
      
      
  • 11
    • 
      
      
      
      
  • 12
    • 
      
      
      
      
  • 13
    • 
      
      
      
      
  • 14
    • 
      
      
      
      
  • 15
    • 
      
      
      
      
  • 16
    • 
      
      
      
      
  • 17
    • 
      
      
      
      
  • 18
    • 
      
      
      
      
  • 19
    • 
      
      
      
      
  • 20
    • 
      
      
      
      
  • 21
    • 
      
      
      
      
  • 22
    • 
      
      
      
      
  • 23
    • 
      
      
      
      
  • 24
    • 
      
      
      
      
  • 25
    • 
      
      
      
      
  • 26
    • 
      
      
      
      
  • 27
    • 
      
      
      
      
  • 28
    • 
      
      
      
      
  • 29
    • 
      
      
      
      
  • 30
    • 
      
      
      
      
  • 31
    • 
      
      
      
      
  • 32
    • 
      
      
      
      
  • 33
    • 
      
      
      
      
  • 34
    • 
      
      
      
      
  • 35
    • 
      
      
      
      
  • 36
    • 
      
      
      
      
  • 37
    • 
      
      
      
      
  • 38
    • 
      
      
      
      
  • 39
    • 
      
      
      
      
  • 40
    • 
      
      
      
      
  • 41
    • 
      
      
      
      
  • 42
    • 
      
      
      
      
  • 43
    • 
      
      
      
      
  • 44
    • 
      
      
      
      
  • 45
    • 
      
      
      
      
  • 46
    • 
      
      
      
      
  • 47
    • 
      
      
      
      
  • 48
    • 
      
      
      
      
  • 49
    • 
      
      
      
      
  • 50
    • 
      
      
      
      
  • 51
    • 
      
      
      
      
  • 52
    • 
      
      
      
      
  • 53
    • 
      
      
      
      
  • 54
    • 
      
      
      
      
  • 55
    • 
      
      
      
      
  • 56
    • 
      
      
      
      
  • 57
    • 
      
      
      
      
  • 58
    • 
      
      
      
      
  • 59
    • 
      
      
      
      
  • 60
    • 
      
      
      
      
  • 61
    • 
      
      
      
      
  • 62
    • 
      
      
      
      
  • 63
    • 
      
      
      
      
  • 64
    • 
      
      
      
      
  • 65
    • 
      
      
      
      
  • 66
    • 
      
      
      
      
  • 67
    • 
      
      
      
      
  • 68
    • 
      
      
      
      
  • 69
    • 
      
      
      
      
  • 70
    • 
      
      
      
      
  • 71
    • 
      
      
      
      
  • 72
    • 
      
      
      
      
  • 73
    • 
      
      
      
      
  • 74
    • 
      
      
      
      
  • 75
    • 
      
      
      
      
  • 76
    • 
      
      
      
      
  • 77
    • 
      
      
      
      
  • 78
    • 
      
      
      
      
  • 79
    • 
      
      
      
      
  • 80
    • 
      
      
      
      
  • 81
    • 
      
      
      
      
  • 82
    • 
      
      
      
      
  • 83
    • 
      
      
      
      
  • 84
    • 
      
      
      
      
  • 85
    • 
      
      
      
      
  • 86
    • 
      
      
      
      
  • 87
    • 
      
      
      
      
  • 88
    • 
      
      
      
      
  • 89
    • 
      
      
      
      
  • 90
    • 
      
      
      
      
  • 91
    • 
      
      
      
      
  • 92
    • 
      
      
      
      
  • 93
    • 
      
      
      
      
  • 94
    • 
      
      
      
      
  • 95
    • 
      
      
      
      
  • 96
    • 
      
      
      
      
  • 97
    • 
      
      
      
      
  • 98
    • 
      
      
      
      
  • 99
    • 
      
      
      
      
  • 100
    • 
      
      
      
      
  • 101
    • 
      
      
      
      
  • 102
    • 
      
      
      
      
  • 103
    • 
      
      
      
      
  • 104
    • 
      
      
      
      
  • 105
    • 
      
      
      
      
  • 106
    • 
      
      
      
      
  • 107
    • 
      
      
      
      
  • 108
    • 
      
      
      
      
  • 109
    • 
      
      
      
      
  • 110
    • 
      
      
      
      
  • 111
    • 
      
      
      
      
  • 112
    • 
      
      
      
      
  • 113
    • 
      
      
      
      
  • 114
    • 
      
      
      
      
  • 115
    • 
      
      
      
      
  • 116
    • 
      
      
      
      
  • 117
    • 
      
      
      
      
  • 118
    • 
      
      
      
      
  • 119
    • 
      
      
      
      
  • 120
    • 
      
      
      
      
  • 121
    • 
      
      
      
      
  • 122
    • 
      
      
      
      
  • 123
    • 
      
      
      
      
  • 124
    • 
      
      
      
      
  • 125
    • 
      
      
      
      
  • 126
    • 
      
      
      
      
  • 127
    • 
      
      
      
      
  • 128
    • 
      
      
      
      
  • 129
    • 
      
      
      
      
  • 130
    • 
      
      
      
      
  • 131
    • 
      
      
      
      
  • 132
    • 
      
      
      
      
  • 133
    • 
      
      
      
      
  • 134
    • 
      
      
      
      
  • 135
    • 
      
      
      
      
  • 136
    • 
      
      
      
      
  • 137
    • 
      
      
      
      
  • 138
    • 
      
      
      
      
  • 139
    • 
      
      
      
      
  • 140
    • 
      
      
      
      
  • 141
    • 
      
      
      
      
  • 142
    • 
      
      
      
      
  • 143
    • 
      
      
      
      
  • 144
    • 
      
      
      
      
  • 145
    • 
      
      
      
      
  • 146
    • 
      
      
      
      
  • 147
    • 
      
      
      
      
  • 148
    • 
      
      
      
      
  • 149
    • 
      
      
      
      
  • 150
    • 
      
      
      
      
  • 151
    • 
      
      
      
      
  • 152
    • 
      
      
      
      
  • 153
    • 
      
      
      
      
  • 154
    • 
      
      
      
      
  • 155
    • 
      
      
      
      
  • 156
    • 
      
      
      
      
  • 157
    • 
      
      
      
      
  • 158
    • 
      
      
      
      
  • 159
    • 
      
      
      
      
  • 160
    • 
      
      
      
      
  • 161
    • 
      
      
      
      
  • 162
    • 
      
      
      
      
  • 163
    • 
      
      
      
      
  • 164
    • 
      
      
      
      
  • 165
    • 
      
      
      
      
  • 166
    • 
      
      
      
      
  • 167
    • 
      
      
      
      
  • 168
    • 
      
      
      
      
  • 169
    • 
      
      
      
      
  • 170
    • 
      
      
      
      
  • 171
    • 
      
      
      
      
  • 172
    • 
      
      
      
      
  • 173
    • 
      
      
      
      
  • 174
    • 
      
      
      
      
  • 175
    • 
      
      
      
      
  • 176
    • 
      
      
      
      
  • 177
    • 
      
      
      
      
  • 178
    • 
      
      
      
      
  • 179
    • 
      
      
      
      
  • 180
    • 
      
      
      
      
  • 181
    • 
      
      
      
      
  • 182
    • 
      
      
      
      
  • 183
    • 
      
      
      
      
  • 184
    • 
      
      
      
      
  • 185
    • 
      
      
      
      
  • 186
    • 
      
      
      
      
  • 187
    • 
      
      
      
      
  • 188
    • 
      
      
      
      
  • 189
    • 
      
      
      
      
  • 190
    • 
      
      
      
      
  • 191
    • 
      
      
      
      
  • 192
    • 
      
      
      
      
  • 193
    • 
      
      
      
      
  • 194
    • 
      
      
      
      
  • 195
    • 
      
      
      
      
  • 196
    • 
      
      
      
      
  • 197
    •

备注：用 caffe 的 python 接口提取和保存特征到text文本下

features = net.blobs['conv5'].data  # 提取卷积层 5 的特征
np.savetxt('conv5_feature.txt', features) # 将特征存储到本文文件中
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    •

现在Caffe的Matlab接口 (matcaffe3) 和python接口都非常强大, 可以直接提取任意层的feature map以及parameters, 所以本文仅仅作为参考, 更多最新的信息请参考: 
http://caffe.berkeleyvision.org/tutorial/interfaces.html

提取特征并储存 
CAFFE提供了一个提取特征的tool，见 http://caffe.berkeleyvision.org/gathered/examples/feature_extraction.html 。

数据模型与准备 
安装好Caffe后，在examples/images文件夹下有两张示例图像，本文即在这两张图像上，用Caffe提供的预训练模型，进行特征提取，并进行可视化。

1. 选择需要特征提取的图像 
./examples/_temp

(1) 进入caffe根目录(本文中caffe的根目录都为caffe-root)，创建临时文件夹，用于存放所需要的临时文件

mkdir examples/_temp
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    •

(2) 根据examples/images文件夹中的图片，创建包含图像列表的txt文件，并添加标签（0）

find `pwd`/examples/images -type f -exec echo {} \; > examples/_temp/temp.txt
sed "s/$/ 0/" examples/_temp/temp.txt > examples/_temp/file_list.txt
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    •

(3) 执行下列脚本，下载imagenet12图像均值文件，在后面的网络结构定义prototxt文件中，需要用到该文件 （data/ilsvrc212/imagenet_mean.binaryproto）.下载模型以及定义prototxt。

sh ./data/ilsvrc12/get_ilsvrc_aux.sh
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    •

(4) 将网络定义prototxt文件复制到_temp文件夹下

cp examples/feature_extraction/imagenet_val.prototxt examples/_temp
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    •

使用特征文件进行可视化 
参考 http://www.cnblogs.com/platero/p/3967208.html 和 lmdb的文档 https://lmdb.readthedocs.org/en/release ，读取lmdb文件，然后转换成mat文件，再用matlab调用mat进行可视化。

使用caffe的 extract_features.bin 工具提取出的图像特征存为lmdb格式， 为了方便观察特征，我们将利用下列两个python脚本将图像转化为matlab的.mat格式 （请先安装caffe的python依赖库）。extract_features.bin的运行参数为

extract_features.bin $MODEL $PROTOTXT $LAYER $LMDB_OUTPUT_PATH $BATCHSIZE
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    •

上面不是执行代码，只是运行参数，不需要执行上式。

下面给出第一个例子是提取特征并储存。

（1） 安装CAFFE的python依赖库，并使用以下两个辅助文件把lmdb转换为mat。在caffe 根目录下创建feat_helper_pb2.py 和lmdb2mat.py，直接copy 下面的python程序即可。

cd caffe-root
sudo gedit  feat_helper_pb2.py
sudo gedit lmdb2mat.py
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    •

需要添加的内容如下 
feat_helper_pb2.py：

# Generated by the protocol buffer compiler.  DO NOT EDIT!

from google.protobuf import descriptor
from google.protobuf import message
from google.protobuf import reflection
from google.protobuf import descriptor_pb2
# @@protoc_insertion_point(imports)


DESCRIPTOR = descriptor.FileDescriptor(
  name='datum.proto',
  package='feat_extract',
  serialized_pb='\n\x0b\x64\x61tum.proto\x12\x0c\x66\x65\x61t_extract\"i\n\x05\x44\x61tum\x12\x10\n\x08\x63hannels\x18\x01 \x01(\x05\x12\x0e\n\x06height\x18\x02 \x01(\x05\x12\r\n\x05width\x18\x03 \x01(\x05\x12\x0c\n\x04\x64\x61ta\x18\x04 \x01(\x0c\x12\r\n\x05label\x18\x05 \x01(\x05\x12\x12\n\nfloat_data\x18\x06 \x03(\x02')


_DATUM = descriptor.Descriptor(
  name='Datum',
  full_name='feat_extract.Datum',
  filename=None,
  file=DESCRIPTOR,
  containing_type=None,
  fields=[
    descriptor.FieldDescriptor(
      name='channels', full_name='feat_extract.Datum.channels', index=0,
      number=1, type=5, cpp_type=1, label=1,
      has_default_value=False, default_value=0,
      message_type=None, enum_type=None, containing_type=None,
      is_extension=False, extension_scope=None,
      options=None),
    descriptor.FieldDescriptor(
      name='height', full_name='feat_extract.Datum.height', index=1,
      number=2, type=5, cpp_type=1, label=1,
      has_default_value=False, default_value=0,
      message_type=None, enum_type=None, containing_type=None,
      is_extension=False, extension_scope=None,
      options=None),
    descriptor.FieldDescriptor(
      name='width', full_name='feat_extract.Datum.width', index=2,
      number=3, type=5, cpp_type=1, label=1,
      has_default_value=False, default_value=0,
      message_type=None, enum_type=None, containing_type=None,
      is_extension=False, extension_scope=None,
      options=None),
    descriptor.FieldDescriptor(
      name='data', full_name='feat_extract.Datum.data', index=3,
      number=4, type=12, cpp_type=9, label=1,
      has_default_value=False, default_value="",
      message_type=None, enum_type=None, containing_type=None,
      is_extension=False, extension_scope=None,
      options=None),
    descriptor.FieldDescriptor(
      name='label', full_name='feat_extract.Datum.label', index=4,
      number=5, type=5, cpp_type=1, label=1,
      has_default_value=False, default_value=0,
      message_type=None, enum_type=None, containing_type=None,
      is_extension=False, extension_scope=None,
      options=None),
    descriptor.FieldDescriptor(
      name='float_data', full_name='feat_extract.Datum.float_data', index=5,
      number=6, type=2, cpp_type=6, label=3,
      has_default_value=False, default_value=[],
      message_type=None, enum_type=None, containing_type=None,
      is_extension=False, extension_scope=None,
      options=None),
  ],
  extensions=[
  ],
  nested_types=[],
  enum_types=[
  ],
  options=None,
  is_extendable=False,
  extension_ranges=[],
  serialized_start=29,
  serialized_end=134,
)

DESCRIPTOR.message_types_by_name['Datum'] = _DATUM

class Datum(message.Message):
  __metaclass__ = reflection.GeneratedProtocolMessageType
  DESCRIPTOR = _DATUM

  # @@protoc_insertion_point(class_scope:feat_extract.Datum)

# @@protoc_insertion_point(module_scope)
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
      
      
      
      
  • 4
    • 
      
      
      
      
  • 5
    • 
      
      
      
      
  • 6
    • 
      
      
      
      
  • 7
    • 
      
      
      
      
  • 8
    • 
      
      
      
      
  • 9
    • 
      
      
      
      
  • 10
    • 
      
      
      
      
  • 11
    • 
      
      
      
      
  • 12
    • 
      
      
      
      
  • 13
    • 
      
      
      
      
  • 14
    • 
      
      
      
      
  • 15
    • 
      
      
      
      
  • 16
    • 
      
      
      
      
  • 17
    • 
      
      
      
      
  • 18
    • 
      
      
      
      
  • 19
    • 
      
      
      
      
  • 20
    • 
      
      
      
      
  • 21
    • 
      
      
      
      
  • 22
    • 
      
      
      
      
  • 23
    • 
      
      
      
      
  • 24
    • 
      
      
      
      
  • 25
    • 
      
      
      
      
  • 26
    • 
      
      
      
      
  • 27
    • 
      
      
      
      
  • 28
    • 
      
      
      
      
  • 29
    • 
      
      
      
      
  • 30
    • 
      
      
      
      
  • 31
    • 
      
      
      
      
  • 32
    • 
      
      
      
      
  • 33
    • 
      
      
      
      
  • 34
    • 
      
      
      
      
  • 35
    • 
      
      
      
      
  • 36
    • 
      
      
      
      
  • 37
    • 
      
      
      
      
  • 38
    • 
      
      
      
      
  • 39
    • 
      
      
      
      
  • 40
    • 
      
      
      
      
  • 41
    • 
      
      
      
      
  • 42
    • 
      
      
      
      
  • 43
    • 
      
      
      
      
  • 44
    • 
      
      
      
      
  • 45
    • 
      
      
      
      
  • 46
    • 
      
      
      
      
  • 47
    • 
      
      
      
      
  • 48
    • 
      
      
      
      
  • 49
    • 
      
      
      
      
  • 50
    • 
      
      
      
      
  • 51
    • 
      
      
      
      
  • 52
    • 
      
      
      
      
  • 53
    • 
      
      
      
      
  • 54
    • 
      
      
      
      
  • 55
    • 
      
      
      
      
  • 56
    • 
      
      
      
      
  • 57
    • 
      
      
      
      
  • 58
    • 
      
      
      
      
  • 59
    • 
      
      
      
      
  • 60
    • 
      
      
      
      
  • 61
    • 
      
      
      
      
  • 62
    • 
      
      
      
      
  • 63
    • 
      
      
      
      
  • 64
    • 
      
      
      
      
  • 65
    • 
      
      
      
      
  • 66
    • 
      
      
      
      
  • 67
    • 
      
      
      
      
  • 68
    • 
      
      
      
      
  • 69
    • 
      
      
      
      
  • 70
    • 
      
      
      
      
  • 71
    • 
      
      
      
      
  • 72
    • 
      
      
      
      
  • 73
    • 
      
      
      
      
  • 74
    • 
      
      
      
      
  • 75
    • 
      
      
      
      
  • 76
    • 
      
      
      
      
  • 77
    • 
      
      
      
      
  • 78
    • 
      
      
      
      
  • 79
    • 
      
      
      
      
  • 80
    • 
      
      
      
      
  • 81
    • 
      
      
      
      
  • 82
    • 
      
      
      
      
  • 83
    • 
      
      
      
      
  • 84
    • 
      
      
      
      
  • 85
    • 
      
      
      
      
  • 86
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
      
      
      
      
  • 4
    • 
      
      
      
      
  • 5
    • 
      
      
      
      
  • 6
    • 
      
      
      
      
  • 7
    • 
      
      
      
      
  • 8
    • 
      
      
      
      
  • 9
    • 
      
      
      
      
  • 10
    • 
      
      
      
      
  • 11
    • 
      
      
      
      
  • 12
    • 
      
      
      
      
  • 13
    • 
      
      
      
      
  • 14
    • 
      
      
      
      
  • 15
    • 
      
      
      
      
  • 16
    • 
      
      
      
      
  • 17
    • 
      
      
      
      
  • 18
    • 
      
      
      
      
  • 19
    • 
      
      
      
      
  • 20
    • 
      
      
      
      
  • 21
    • 
      
      
      
      
  • 22
    • 
      
      
      
      
  • 23
    • 
      
      
      
      
  • 24
    • 
      
      
      
      
  • 25
    • 
      
      
      
      
  • 26
    • 
      
      
      
      
  • 27
    • 
      
      
      
      
  • 28
    • 
      
      
      
      
  • 29
    • 
      
      
      
      
  • 30
    • 
      
      
      
      
  • 31
    • 
      
      
      
      
  • 32
    • 
      
      
      
      
  • 33
    • 
      
      
      
      
  • 34
    • 
      
      
      
      
  • 35
    • 
      
      
      
      
  • 36
    • 
      
      
      
      
  • 37
    • 
      
      
      
      
  • 38
    • 
      
      
      
      
  • 39
    • 
      
      
      
      
  • 40
    • 
      
      
      
      
  • 41
    • 
      
      
      
      
  • 42
    • 
      
      
      
      
  • 43
    • 
      
      
      
      
  • 44
    • 
      
      
      
      
  • 45
    • 
      
      
      
      
  • 46
    • 
      
      
      
      
  • 47
    • 
      
      
      
      
  • 48
    • 
      
      
      
      
  • 49
    • 
      
      
      
      
  • 50
    • 
      
      
      
      
  • 51
    • 
      
      
      
      
  • 52
    • 
      
      
      
      
  • 53
    • 
      
      
      
      
  • 54
    • 
      
      
      
      
  • 55
    • 
      
      
      
      
  • 56
    • 
      
      
      
      
  • 57
    • 
      
      
      
      
  • 58
    • 
      
      
      
      
  • 59
    • 
      
      
      
      
  • 60
    • 
      
      
      
      
  • 61
    • 
      
      
      
      
  • 62
    • 
      
      
      
      
  • 63
    • 
      
      
      
      
  • 64
    • 
      
      
      
      
  • 65
    • 
      
      
      
      
  • 66
    • 
      
      
      
      
  • 67
    • 
      
      
      
      
  • 68
    • 
      
      
      
      
  • 69
    • 
      
      
      
      
  • 70
    • 
      
      
      
      
  • 71
    • 
      
      
      
      
  • 72
    • 
      
      
      
      
  • 73
    • 
      
      
      
      
  • 74
    • 
      
      
      
      
  • 75
    • 
      
      
      
      
  • 76
    • 
      
      
      
      
  • 77
    • 
      
      
      
      
  • 78
    • 
      
      
      
      
  • 79
    • 
      
      
      
      
  • 80
    • 
      
      
      
      
  • 81
    • 
      
      
      
      
  • 82
    • 
      
      
      
      
  • 83
    • 
      
      
      
      
  • 84
    • 
      
      
      
      
  • 85
    • 
      
      
      
      
  • 86
    •

./lmdb2mat.py

import lmdb
import feat_helper_pb2
import numpy as np
import scipy.io as sio
import time

def main(argv):
    lmdb_name = sys.argv[1]
    print "%s" % sys.argv[1]
    batch_num = int(sys.argv[2]);
    batch_size = int(sys.argv[3]);
    window_num = batch_num*batch_size;

    start = time.time()
    if 'db' not in locals().keys():
        db = lmdb.open(lmdb_name)
        txn= db.begin()
        cursor = txn.cursor()
        cursor.iternext()
        datum = feat_helper_pb2.Datum()

        keys = []
        values = []
        for key, value in enumerate( cursor.iternext_nodup()):
            keys.append(key)
            values.append(cursor.value())

    ft = np.zeros((window_num, int(sys.argv[4])))
    for im_idx in range(window_num):
        datum.ParseFromString(values[im_idx])
        ft[im_idx, :] = datum.float_data

    print 'time 1: %f' %(time.time() - start)
    sio.savemat(sys.argv[5], {'feats':ft})
    print 'time 2: %f' %(time.time() - start)
    print 'done!'

if __name__ == '__main__':
    import sys
    main(sys.argv)
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
      
      
      
      
  • 4
    • 
      
      
      
      
  • 5
    • 
      
      
      
      
  • 6
    • 
      
      
      
      
  • 7
    • 
      
      
      
      
  • 8
    • 
      
      
      
      
  • 9
    • 
      
      
      
      
  • 10
    • 
      
      
      
      
  • 11
    • 
      
      
      
      
  • 12
    • 
      
      
      
      
  • 13
    • 
      
      
      
      
  • 14
    • 
      
      
      
      
  • 15
    • 
      
      
      
      
  • 16
    • 
      
      
      
      
  • 17
    • 
      
      
      
      
  • 18
    • 
      
      
      
      
  • 19
    • 
      
      
      
      
  • 20
    • 
      
      
      
      
  • 21
    • 
      
      
      
      
  • 22
    • 
      
      
      
      
  • 23
    • 
      
      
      
      
  • 24
    • 
      
      
      
      
  • 25
    • 
      
      
      
      
  • 26
    • 
      
      
      
      
  • 27
    • 
      
      
      
      
  • 28
    • 
      
      
      
      
  • 29
    • 
      
      
      
      
  • 30
    • 
      
      
      
      
  • 31
    • 
      
      
      
      
  • 32
    • 
      
      
      
      
  • 33
    • 
      
      
      
      
  • 34
    • 
      
      
      
      
  • 35
    • 
      
      
      
      
  • 36
    • 
      
      
      
      
  • 37
    • 
      
      
      
      
  • 38
    • 
      
      
      
      
  • 39
    • 
      
      
      
      
  • 40
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
      
      
      
      
  • 4
    • 
      
      
      
      
  • 5
    • 
      
      
      
      
  • 6
    • 
      
      
      
      
  • 7
    • 
      
      
      
      
  • 8
    • 
      
      
      
      
  • 9
    • 
      
      
      
      
  • 10
    • 
      
      
      
      
  • 11
    • 
      
      
      
      
  • 12
    • 
      
      
      
      
  • 13
    • 
      
      
      
      
  • 14
    • 
      
      
      
      
  • 15
    • 
      
      
      
      
  • 16
    • 
      
      
      
      
  • 17
    • 
      
      
      
      
  • 18
    • 
      
      
      
      
  • 19
    • 
      
      
      
      
  • 20
    • 
      
      
      
      
  • 21
    • 
      
      
      
      
  • 22
    • 
      
      
      
      
  • 23
    • 
      
      
      
      
  • 24
    • 
      
      
      
      
  • 25
    • 
      
      
      
      
  • 26
    • 
      
      
      
      
  • 27
    • 
      
      
      
      
  • 28
    • 
      
      
      
      
  • 29
    • 
      
      
      
      
  • 30
    • 
      
      
      
      
  • 31
    • 
      
      
      
      
  • 32
    • 
      
      
      
      
  • 33
    • 
      
      
      
      
  • 34
    • 
      
      
      
      
  • 35
    • 
      
      
      
      
  • 36
    • 
      
      
      
      
  • 37
    • 
      
      
      
      
  • 38
    • 
      
      
      
      
  • 39
    • 
      
      
      
      
  • 40
    •

备注：用 caffe 的 python 接口提取和保存特征到text文本下

features = net.blobs['conv5'].data  # 提取卷积层 5 的特征
np.savetxt('conv5_feature.txt', features) # 将特征存储到本文文件中
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    •

（2） 在caffe 根目录下创建脚本文件extract_feature_example1.sh， 并执行，将在examples/_temp文件夹下得到lmdb文件（features_conv1）和.mat文件（features_conv1.mat）

下载已经生成的模型

sudo gedit ./examples/imagenet/get_caffe_reference_imagenet_model.sh

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    •

添加编辑内容如下：

#!/usr/bin/env sh
# This scripts downloads the caffe reference imagenet model
# for ilsvrc image classification and deep feature extraction

MODEL=caffe_reference_imagenet_model
CHECKSUM=bf44bac4a59aa7792b296962fe483f2b

if [ -f $MODEL ]; then
  echo "Model already exists. Checking md5..."
  os=`uname -s`
  if [ "$os" = "Linux" ]; then
    checksum=`md5sum $MODEL | awk '{ print $1 }'`
  elif [ "$os" = "Darwin" ]; then
    checksum=`cat $MODEL | md5`
  fi
  if [ "$checksum" = "$CHECKSUM" ]; then
    echo "Model checksum is correct. No need to download."
    exit 0
  else
    echo "Model checksum is incorrect. Need to download again."
  fi
fi

echo "Downloading..."

wget --no-check-certificate https://www.dropbox.com/s/n3jups0gr7uj0dv/$MODEL

echo "Done. Please run this command again to verify that checksum = $CHECKSUM."
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
      
      
      
      
  • 4
    • 
      
      
      
      
  • 5
    • 
      
      
      
      
  • 6
    • 
      
      
      
      
  • 7
    • 
      
      
      
      
  • 8
    • 
      
      
      
      
  • 9
    • 
      
      
      
      
  • 10
    • 
      
      
      
      
  • 11
    • 
      
      
      
      
  • 12
    • 
      
      
      
      
  • 13
    • 
      
      
      
      
  • 14
    • 
      
      
      
      
  • 15
    • 
      
      
      
      
  • 16
    • 
      
      
      
      
  • 17
    • 
      
      
      
      
  • 18
    • 
      
      
      
      
  • 19
    • 
      
      
      
      
  • 20
    • 
      
      
      
      
  • 21
    • 
      
      
      
      
  • 22
    • 
      
      
      
      
  • 23
    • 
      
      
      
      
  • 24
    • 
      
      
      
      
  • 25
    • 
      
      
      
      
  • 26
    • 
      
      
      
      
  • 27
    • 
      
      
      
      
  • 28
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
      
      
      
      
  • 4
    • 
      
      
      
      
  • 5
    • 
      
      
      
      
  • 6
    • 
      
      
      
      
  • 7
    • 
      
      
      
      
  • 8
    • 
      
      
      
      
  • 9
    • 
      
      
      
      
  • 10
    • 
      
      
      
      
  • 11
    • 
      
      
      
      
  • 12
    • 
      
      
      
      
  • 13
    • 
      
      
      
      
  • 14
    • 
      
      
      
      
  • 15
    • 
      
      
      
      
  • 16
    • 
      
      
      
      
  • 17
    • 
      
      
      
      
  • 18
    • 
      
      
      
      
  • 19
    • 
      
      
      
      
  • 20
    • 
      
      
      
      
  • 21
    • 
      
      
      
      
  • 22
    • 
      
      
      
      
  • 23
    • 
      
      
      
      
  • 24
    • 
      
      
      
      
  • 25
    • 
      
      
      
      
  • 26
    • 
      
      
      
      
  • 27
    • 
      
      
      
      
  • 28
    • 
     
     
     
     
cd caffe-root
sudo gedit extract_feature_example1.sh
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    •

需要添加的内容如下：

#!/usr/bin/env sh
# args for EXTRACT_FEATURE
TOOL=./build/tools
MODEL=./examples/imagenet/caffe_reference_imagenet_model #下载得到的caffe model
PROTOTXT=./examples/_temp/imagenet_val.prototxt # 网络定义
LAYER=conv1 # 提取层的名字，如提取fc7等
LEVELDB=./examples/_temp/features_conv1 # 保存的leveldb路径
BATCHSIZE=10

# args for LEVELDB to MAT
DIM=290400 # 需要手工计算feature长度
OUT=./examples/_temp/features_conv1.mat #.mat文件保存路径
BATCHNUM=1 # 有多少个batch， 本例只有两张图， 所以只有一个batch

$TOOL/extract_features.bin  $MODEL $PROTOTXT $LAYER $LEVELDB $BATCHSIZE lmdb
python lmdb2mat.py $LEVELDB $BATCHNUM  $BATCHSIZE $DIM $OUT
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
      
      
      
      
  • 4
    • 
      
      
      
      
  • 5
    • 
      
      
      
      
  • 6
    • 
      
      
      
      
  • 7
    • 
      
      
      
      
  • 8
    • 
      
      
      
      
  • 9
    • 
      
      
      
      
  • 10
    • 
      
      
      
      
  • 11
    • 
      
      
      
      
  • 12
    • 
      
      
      
      
  • 13
    • 
      
      
      
      
  • 14
    • 
      
      
      
      
  • 15
    • 
      
      
      
      
  • 16
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
      
      
      
      
  • 4
    • 
      
      
      
      
  • 5
    • 
      
      
      
      
  • 6
    • 
      
      
      
      
  • 7
    • 
      
      
      
      
  • 8
    • 
      
      
      
      
  • 9
    • 
      
      
      
      
  • 10
    • 
      
      
      
      
  • 11
    • 
      
      
      
      
  • 12
    • 
      
      
      
      
  • 13
    • 
      
      
      
      
  • 14
    • 
      
      
      
      
  • 15
    • 
      
      
      
      
  • 16
    •

执行之后，

cd caffe-root
sh extract_feature_example1.sh
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    •

你会在/examples/_temp/ 下发现多了两个文件：文件夹 features_conv1，文件features_conv1.mat

这里写图片描述

如果执行出现lmdb2mat.py的相关问题，有可能是没有安装lmdb，可在caffe 根目录下执行下面的程式安装。具体问题具体分析。 
Lmdb的安装

pip install lmdb
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    •

特别备注：在执行一次 sh extract_feature_example1.sh 之后，在文件夹 _temp里面就会出现文件夹features_conv1和文件features_conv1.mat。若再次执行一次，会出现报错，可将文件夹 _temp中的文件夹features_conv1和文件features_conv1.mat 都删除，即可通过编译。

（3）. 参考UFLDL里的display_network函数，对mat文件里的特征进行可视化。 
在/examples/_temp/ 中创建 display_network.m

cd ./examples/_temp/ 
sudo gedit display_network.m
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    •

需要添加的内容如下： 
display_network.m

function [h, array] = display_network(A, opt_normalize, opt_graycolor, cols, opt_colmajor)
% This function visualizes filters in matrix A. Each column of A is a
% filter. We will reshape each column into a square image and visualizes
% on each cell of the visualization panel. 
% All other parameters are optional, usually you do not need to worry
% about it.
% opt_normalize: whether we need to normalize the filter so that all of
% them can have similar contrast. Default value is true.
% opt_graycolor: whether we use gray as the heat map. Default is true.
% cols: how many columns are there in the display. Default value is the
% squareroot of the number of columns in A.
% opt_colmajor: you can switch convention to row major for A. In that
% case, each row of A is a filter. Default value is false.
warning off all

if ~exist('opt_normalize', 'var') || isempty(opt_normalize)
    opt_normalize= true;
end

if ~exist('opt_graycolor', 'var') || isempty(opt_graycolor)
    opt_graycolor= true;
end

if ~exist('opt_colmajor', 'var') || isempty(opt_colmajor)
    opt_colmajor = false;
end

% rescale
A = A - mean(A(:));

if opt_graycolor, colormap(gray); end

% compute rows, cols
[L M]=size(A);
sz=sqrt(L);
buf=1;
if ~exist('cols', 'var')
    if floor(sqrt(M))^2 ~= M
        n=ceil(sqrt(M));
        while mod(M, n)~=0 && n<1.2*sqrt(M), n=n+1; end
        m=ceil(M/n);
    else
        n=sqrt(M);
        m=n;
    end
else
    n = cols;
    m = ceil(M/n);
end

array=-ones(buf+m*(sz+buf),buf+n*(sz+buf));

if ~opt_graycolor
    array = 0.1.* array;
end


if ~opt_colmajor
    k=1;
    for i=1:m
        for j=1:n
            if k>M, 
                continue; 
            end
            clim=max(abs(A(:,k)));
            if opt_normalize
                array(buf+(i-1)*(sz+buf)+(1:sz),buf+(j-1)*(sz+buf)+(1:sz))=reshape(A(:,k),sz,sz)'/clim;
            else
                array(buf+(i-1)*(sz+buf)+(1:sz),buf+(j-1)*(sz+buf)+(1:sz))=reshape(A(:,k),sz,sz)'/max(abs(A(:)));
            end
            k=k+1;
        end
    end
else
    k=1;
    for j=1:n
        for i=1:m
            if k>M, 
                continue; 
            end
            clim=max(abs(A(:,k)));
            if opt_normalize
                array(buf+(i-1)*(sz+buf)+(1:sz),buf+(j-1)*(sz+buf)+(1:sz))=reshape(A(:,k),sz,sz)'/clim;
            else
                array(buf+(i-1)*(sz+buf)+(1:sz),buf+(j-1)*(sz+buf)+(1:sz))=reshape(A(:,k),sz,sz)';
            end
            k=k+1;
        end
    end
end

if opt_graycolor
    h=imagesc(array);
else
    h=imagesc(array,'EraseMode','none',[-1 1]);
end
axis image off

drawnow;

warning on all
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
      
      
      
      
  • 4
    • 
      
      
      
      
  • 5
    • 
      
      
      
      
  • 6
    • 
      
      
      
      
  • 7
    • 
      
      
      
      
  • 8
    • 
      
      
      
      
  • 9
    • 
      
      
      
      
  • 10
    • 
      
      
      
      
  • 11
    • 
      
      
      
      
  • 12
    • 
      
      
      
      
  • 13
    • 
      
      
      
      
  • 14
    • 
      
      
      
      
  • 15
    • 
      
      
      
      
  • 16
    • 
      
      
      
      
  • 17
    • 
      
      
      
      
  • 18
    • 
      
      
      
      
  • 19
    • 
      
      
      
      
  • 20
    • 
      
      
      
      
  • 21
    • 
      
      
      
      
  • 22
    • 
      
      
      
      
  • 23
    • 
      
      
      
      
  • 24
    • 
      
      
      
      
  • 25
    • 
      
      
      
      
  • 26
    • 
      
      
      
      
  • 27
    • 
      
      
      
      
  • 28
    • 
      
      
      
      
  • 29
    • 
      
      
      
      
  • 30
    • 
      
      
      
      
  • 31
    • 
      
      
      
      
  • 32
    • 
      
      
      
      
  • 33
    • 
      
      
      
      
  • 34
    • 
      
      
      
      
  • 35
    • 
      
      
      
      
  • 36
    • 
      
      
      
      
  • 37
    • 
      
      
      
      
  • 38
    • 
      
      
      
      
  • 39
    • 
      
      
      
      
  • 40
    • 
      
      
      
      
  • 41
    • 
      
      
      
      
  • 42
    • 
      
      
      
      
  • 43
    • 
      
      
      
      
  • 44
    • 
      
      
      
      
  • 45
    • 
      
      
      
      
  • 46
    • 
      
      
      
      
  • 47
    • 
      
      
      
      
  • 48
    • 
      
      
      
      
  • 49
    • 
      
      
      
      
  • 50
    • 
      
      
      
      
  • 51
    • 
      
      
      
      
  • 52
    • 
      
      
      
      
  • 53
    • 
      
      
      
      
  • 54
    • 
      
      
      
      
  • 55
    • 
      
      
      
      
  • 56
    • 
      
      
      
      
  • 57
    • 
      
      
      
      
  • 58
    • 
      
      
      
      
  • 59
    • 
      
      
      
      
  • 60
    • 
      
      
      
      
  • 61
    • 
      
      
      
      
  • 62
    • 
      
      
      
      
  • 63
    • 
      
      
      
      
  • 64
    • 
      
      
      
      
  • 65
    • 
      
      
      
      
  • 66
    • 
      
      
      
      
  • 67
    • 
      
      
      
      
  • 68
    • 
      
      
      
      
  • 69
    • 
      
      
      
      
  • 70
    • 
      
      
      
      
  • 71
    • 
      
      
      
      
  • 72
    • 
      
      
      
      
  • 73
    • 
      
      
      
      
  • 74
    • 
      
      
      
      
  • 75
    • 
      
      
      
      
  • 76
    • 
      
      
      
      
  • 77
    • 
      
      
      
      
  • 78
    • 
      
      
      
      
  • 79
    • 
      
      
      
      
  • 80
    • 
      
      
      
      
  • 81
    • 
      
      
      
      
  • 82
    • 
      
      
      
      
  • 83
    • 
      
      
      
      
  • 84
    • 
      
      
      
      
  • 85
    • 
      
      
      
      
  • 86
    • 
      
      
      
      
  • 87
    • 
      
      
      
      
  • 88
    • 
      
      
      
      
  • 89
    • 
      
      
      
      
  • 90
    • 
      
      
      
      
  • 91
    • 
      
      
      
      
  • 92
    • 
      
      
      
      
  • 93
    • 
      
      
      
      
  • 94
    • 
      
      
      
      
  • 95
    • 
      
      
      
      
  • 96
    • 
      
      
      
      
  • 97
    • 
      
      
      
      
  • 98
    • 
      
      
      
      
  • 99
    • 
      
      
      
      
  • 100
    • 
      
      
      
      
  • 101
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
      
      
      
      
  • 4
    • 
      
      
      
      
  • 5
    • 
      
      
      
      
  • 6
    • 
      
      
      
      
  • 7
    • 
      
      
      
      
  • 8
    • 
      
      
      
      
  • 9
    • 
      
      
      
      
  • 10
    • 
      
      
      
      
  • 11
    • 
      
      
      
      
  • 12
    • 
      
      
      
      
  • 13
    • 
      
      
      
      
  • 14
    • 
      
      
      
      
  • 15
    • 
      
      
      
      
  • 16
    • 
      
      
      
      
  • 17
    • 
      
      
      
      
  • 18
    • 
      
      
      
      
  • 19
    • 
      
      
      
      
  • 20
    • 
      
      
      
      
  • 21
    • 
      
      
      
      
  • 22
    • 
      
      
      
      
  • 23
    • 
      
      
      
      
  • 24
    • 
      
      
      
      
  • 25
    • 
      
      
      
      
  • 26
    • 
      
      
      
      
  • 27
    • 
      
      
      
      
  • 28
    • 
      
      
      
      
  • 29
    • 
      
      
      
      
  • 30
    • 
      
      
      
      
  • 31
    • 
      
      
      
      
  • 32
    • 
      
      
      
      
  • 33
    • 
      
      
      
      
  • 34
    • 
      
      
      
      
  • 35
    • 
      
      
      
      
  • 36
    • 
      
      
      
      
  • 37
    • 
      
      
      
      
  • 38
    • 
      
      
      
      
  • 39
    • 
      
      
      
      
  • 40
    • 
      
      
      
      
  • 41
    • 
      
      
      
      
  • 42
    • 
      
      
      
      
  • 43
    • 
      
      
      
      
  • 44
    • 
      
      
      
      
  • 45
    • 
      
      
      
      
  • 46
    • 
      
      
      
      
  • 47
    • 
      
      
      
      
  • 48
    • 
      
      
      
      
  • 49
    • 
      
      
      
      
  • 50
    • 
      
      
      
      
  • 51
    • 
      
      
      
      
  • 52
    • 
      
      
      
      
  • 53
    • 
      
      
      
      
  • 54
    • 
      
      
      
      
  • 55
    • 
      
      
      
      
  • 56
    • 
      
      
      
      
  • 57
    • 
      
      
      
      
  • 58
    • 
      
      
      
      
  • 59
    • 
      
      
      
      
  • 60
    • 
      
      
      
      
  • 61
    • 
      
      
      
      
  • 62
    • 
      
      
      
      
  • 63
    • 
      
      
      
      
  • 64
    • 
      
      
      
      
  • 65
    • 
      
      
      
      
  • 66
    • 
      
      
      
      
  • 67
    • 
      
      
      
      
  • 68
    • 
      
      
      
      
  • 69
    • 
      
      
      
      
  • 70
    • 
      
      
      
      
  • 71
    • 
      
      
      
      
  • 72
    • 
      
      
      
      
  • 73
    • 
      
      
      
      
  • 74
    • 
      
      
      
      
  • 75
    • 
      
      
      
      
  • 76
    • 
      
      
      
      
  • 77
    • 
      
      
      
      
  • 78
    • 
      
      
      
      
  • 79
    • 
      
      
      
      
  • 80
    • 
      
      
      
      
  • 81
    • 
      
      
      
      
  • 82
    • 
      
      
      
      
  • 83
    • 
      
      
      
      
  • 84
    • 
      
      
      
      
  • 85
    • 
      
      
      
      
  • 86
    • 
      
      
      
      
  • 87
    • 
      
      
      
      
  • 88
    • 
      
      
      
      
  • 89
    • 
      
      
      
      
  • 90
    • 
      
      
      
      
  • 91
    • 
      
      
      
      
  • 92
    • 
      
      
      
      
  • 93
    • 
      
      
      
      
  • 94
    • 
      
      
      
      
  • 95
    • 
      
      
      
      
  • 96
    • 
      
      
      
      
  • 97
    • 
      
      
      
      
  • 98
    • 
      
      
      
      
  • 99
    • 
      
      
      
      
  • 100
    • 
      
      
      
      
  • 101
    •

（4）在matlab里运行以下代码： 
首先要进入 /examples/_temp/ 在执行下面的matlab程序。 
在caffe 根目录下输入

cd ./examples/_temp/
matlab
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    •

在matlab 中输入下面的命令

nsample = 3;
 num_output = 96; % conv1
% num_output = 256; % conv5
%num_output = 4096; % fc7

load features_conv1.mat
width = size(feats, 2);
nmap = width / num_output;

for i = 1 : nsample
    feat = feats(i, :);
    feat = reshape(feat, [nmap num_output]);
    figure('name', sprintf('image #%d', i));
    display_network(feat);
end
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
      
      
      
      
  • 4
    • 
      
      
      
      
  • 5
    • 
      
      
      
      
  • 6
    • 
      
      
      
      
  • 7
    • 
      
      
      
      
  • 8
    • 
      
      
      
      
  • 9
    • 
      
      
      
      
  • 10
    • 
      
      
      
      
  • 11
    • 
      
      
      
      
  • 12
    • 
      
      
      
      
  • 13
    • 
      
      
      
      
  • 14
    • 
      
      
      
      
  • 15
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
      
      
      
      
  • 4
    • 
      
      
      
      
  • 5
    • 
      
      
      
      
  • 6
    • 
      
      
      
      
  • 7
    • 
      
      
      
      
  • 8
    • 
      
      
      
      
  • 9
    • 
      
      
      
      
  • 10
    • 
      
      
      
      
  • 11
    • 
      
      
      
      
  • 12
    • 
      
      
      
      
  • 13
    • 
      
      
      
      
  • 14
    • 
      
      
      
      
  • 15
    •

执行之后将会出现一下结果：

这里写图片描述 
这里写图片描述 
这里写图片描述 
在python中读取mat文件

在python中，使用scipy.io.loadmat()即可读取mat文件，返回一个dict()。

import scipy.io
matfile = 'features_conv1.mat'
data = scipy.io.loadmat(matfile)
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    •

下面给出第二个例子：

(1) 在caffe 根目录下创建脚本文件extract_feature_example2.sh， 并执行，将在examples/_temp文件夹下得到lmdb文件（features_fc7）和.mat文件（features_fc7.mat）

cd caffe-root
sudo gedit extract_feature_example2.sh
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    •

需要添加的内容如下：

#!/usr/bin/env sh
# args for EXTRACT_FEATURE
TOOL=./build/tools
MODEL=./models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel #下载得到的caffe model
PROTOTXT=./examples/_temp/imagenet_val.prototxt # 网络定义
LAYER=fc7 # 提取层的名字，如提取fc7等
LEVELDB=./examples/_temp/features_fc7 # 保存的leveldb路径
BATCHSIZE=10

# DIM=290400 # feature长度，conv1
# DIM=43264 # conv5
# args for LEVELDB to MAT
DIM=4096 # 需要手工计算feature长度
OUT=./examples/_temp/features_fc7.mat #.mat文件保存路径
BATCHNUM=1 # 有多少个batch， 本例只有两张图， 所以只有一个batch

$TOOL/extract_features.bin  $MODEL $PROTOTXT $LAYER $LEVELDB $BATCHSIZE lmdb
python lmdb2mat.py $LEVELDB $BATCHNUM  $BATCHSIZE $DIM $OUT
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
      
      
      
      
  • 4
    • 
      
      
      
      
  • 5
    • 
      
      
      
      
  • 6
    • 
      
      
      
      
  • 7
    • 
      
      
      
      
  • 8
    • 
      
      
      
      
  • 9
    • 
      
      
      
      
  • 10
    • 
      
      
      
      
  • 11
    • 
      
      
      
      
  • 12
    • 
      
      
      
      
  • 13
    • 
      
      
      
      
  • 14
    • 
      
      
      
      
  • 15
    • 
      
      
      
      
  • 16
    • 
      
      
      
      
  • 17
    • 
      
      
      
      
  • 18
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
      
      
      
      
  • 4
    • 
      
      
      
      
  • 5
    • 
      
      
      
      
  • 6
    • 
      
      
      
      
  • 7
    • 
      
      
      
      
  • 8
    • 
      
      
      
      
  • 9
    • 
      
      
      
      
  • 10
    • 
      
      
      
      
  • 11
    • 
      
      
      
      
  • 12
    • 
      
      
      
      
  • 13
    • 
      
      
      
      
  • 14
    • 
      
      
      
      
  • 15
    • 
      
      
      
      
  • 16
    • 
      
      
      
      
  • 17
    • 
      
      
      
      
  • 18
    •

执行之后，

cd caffe-root
sh extract_feature_example2.sh
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    •

执行之后，你会在 examples/_temp/ 下多出一个文件夹 features-fc7，里面含有data.mdb, lock.mdb 两个文件,还会得到features-fc7.mat，如下图所示

这里写图片描述

这里写图片描述

（2）. 参考UFLDL里的display_network函数，对mat文件里的特征进行可视化。 
在/examples/_temp/ 中创建 display_network.m

cd ./examples/_temp/ 
sudo gedit display_network.m
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    •

（3）在matlab里运行以下代码： 
首先要进入 /examples/_temp/ 在执行下面的matlab程序。 
在caffe 根目录下输入

cd ./examples/_temp/
matlab
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    •

在matlab 中输入下面的命令

nsample = 2;
% num_output = 96; % conv1
% num_output = 256; % conv5
num_output = 4096; % fc7

load features_fc7.mat
width = size(feats, 2);
nmap = width / num_output;

for i = 1 : nsample
    feat = feats(i, :);
    feat = reshape(feat, [nmap num_output]);
    figure('name', sprintf('image #%d', i));
    display_network(feat);
end
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
      
      
      
      
  • 4
    • 
      
      
      
      
  • 5
    • 
      
      
      
      
  • 6
    • 
      
      
      
      
  • 7
    • 
      
      
      
      
  • 8
    • 
      
      
      
      
  • 9
    • 
      
      
      
      
  • 10
    • 
      
      
      
      
  • 11
    • 
      
      
      
      
  • 12
    • 
      
      
      
      
  • 13
    • 
      
      
      
      
  • 14
    • 
      
      
      
      
  • 15
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
      
      
      
      
  • 4
    • 
      
      
      
      
  • 5
    • 
      
      
      
      
  • 6
    • 
      
      
      
      
  • 7
    • 
      
      
      
      
  • 8
    • 
      
      
      
      
  • 9
    • 
      
      
      
      
  • 10
    • 
      
      
      
      
  • 11
    • 
      
      
      
      
  • 12
    • 
      
      
      
      
  • 13
    • 
      
      
      
      
  • 14
    • 
      
      
      
      
  • 15
    •

执行之后将会出现一下结果：

在python中读取mat文件

在python中，使用scipy.io.loadmat()即可读取mat文件，返回一个dict()。

import scipy.io 
matfile = ‘features_fc7.mat’ 
data = scipy.io.loadmat(matfile)

使用自己的网络

只需把前面列出来的文件与参数修改成自定义的即可。

使用Model Zoo里的网络

根据 https://github.com/BVLC/caffe/wiki/Model-Zoo 的介绍，选择自己所需的网络，并下载到相应位置即可。

如VGG-16：

./scripts/download_model_from_gist.sh 211839e770f7b538e2d8
mv ./models/211839e770f7b538e2d8 ./models/VGG_ILSVRC_16_layers
./scripts/download_model_binary.py ./models/VGG_ILSVRC_16_layers
   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    • 
     
     
     
     

   
   
     
     
     
     
    
      
      
      
      
  • 1
    • 
      
      
      
      
  • 2
    • 
      
      
      
      
  • 3
    •

你可能感兴趣的:(caffe框架)

  • AQS 核心原理与高频面试题详解 java
    前言AQS（AbstractQueuedSynchronizer）是Java并发包（java.util.concurrent）中的核心基础类，它提供了一个框架来实现阻塞锁和相关的同步器（如信号量、CountDownLatch等）。AQS内部使用了一个FIFO的双向队列来管理线程，这个队列存储的是等待获取同步状态的线程节点。一、AQS的核心原理1.AQS的作用是什么？AQS是一个用于构建锁和同步器的
  • 解决Mybatis-plus与springboot3.0+、spring6.0+的兼容性问题 lian潋湄 mybatis
    根据mybatis-plus学习框架时，一直都会报错如下信息：当时并不知道这几个工具之间存在版本兼容性问题，就一直苦于找不到合适的解决方法，于是便上网开始了疯狂的搜索，发现改了好多地方还是不行。偶然间了解到了工具之间版本是存在兼容性问题的，一开始问ChatGPT也并没有给出正确的回答，于是我去了最最权威的官网查看，终于发现了问题所在：mybatis-plus官网给出的mybatis-plus插件依
  • Spring Batch批处理操作与实践 面朝大海，春不暖，花不开 基础管理后台开发springbatch前端
    SpringBatch是一个强大的批处理框架，专为处理大规模数据和执行复杂批处理任务而设计。它基于Spring框架构建，继承了Spring的许多优点，如依赖注入、事务管理等，同时提供了丰富的功能来简化批处理应用的开发。什么是批处理？批处理是指在后台运行的一系列操作，通常用于处理大量数据或执行长时间运行的任务。这些任务往往不需要用户交互，可以在非高峰时段运行，以减少对系统资源的影响。常见的批处理任务
  • Shiro 框架详解 大家都说我身材好 Java高级springjavashiro
    Shiro是一款轻量级的Java安全框架，提供了身份认证、授权、加密和会话管理等功能。它可以集成到任何JavaWeb应用程序中，并且易于使用和扩展。Shiro的设计理念是简洁而灵活，不仅可以应用于Web应用程序，还可以应用于命令行、移动设备和分布式系统等各种应用场景。1.Shiro的概述Shiro是一个开源的Java安全框架，由Apache开发和维护。Shiro可以帮助开发人员快速实现安全特性，包
  • Spring常用注解和组件 优人ovo springjava数据库
    引言了解Spring常用注解的使用方式可以帮助我们更快速理解这个框架和其中的深度注解@Configuration：表示该类是一个配置类，用于定义SpringBean。@EnableAutoConfiguration：启用SpringBoot的自动配置功能，让SpringBoot根据类路径中的依赖自动配置应用。@ComponentScan：启用组件扫描，SpringBoot会扫描该类所在包及其子包下
  • Python的那些事第二十三篇：Express（Node.js）与 Python：一场跨语言的浪漫邂逅 暮雨哀尘 Python的那些事linuxpythonnode.jsexpress服务器开发语言web开发
    摘要在当今的编程世界里，Node.js和Python像是两个性格迥异的超级英雄，一个以速度和灵活性著称，另一个则以强大和优雅闻名。本文将探讨如何通过Express框架将Node.js和Python结合起来，打造出一个高效、有趣的Web应用。我们将通过一系列幽默风趣的实例和表格，展示这种跨语言合作的无限可能。如果你厌倦了单调的技术论文，那么这篇论文绝对能让你眼前一亮！1.引言：当Node.js遇上P
  • 深入理解TensorFlow中的形状处理函数 SEVEN-YEARS tensorflow人工智能python
    摘要在深度学习模型的构建过程中，张量（Tensor）的形状管理是一项至关重要的任务。特别是在使用TensorFlow等框架时，确保张量的形状符合预期是保证模型正确运行的基础。本文将详细介绍几个常用的形状处理函数，包括get_shape_list、reshape_to_matrix、reshape_from_matrix和assert_rank，并通过具体的代码示例来展示它们的使用方法。1.引言在深
  • 【论文精读】Sparse4D v2: Recurrent Temporal Fusion with Sparse Model EEPI 自动驾驶人工智能论文阅读深度学习目标检测
    1背景团队：地平线时间：代码：简介：这篇论文是Sparse4D的续作，区别主要在于特征时序融合上，新版提高了运算效率。后续端到端SparseDrive的基本框架与这篇基本类似。2存在的问题2.1其他稀疏3D检测的问题PETR是query-based方法，但是为了实现特征融合，进行了全局注意力机制，导致高计算量。2.2Sparse4Dv1的问题Sparse4Dv1的时序特征融合hierarchyfu
  • 国际主流架构框架整理【表格版】简介、适用场景、优缺点、中文名、英名全称，附TOGAF认证介绍 飞火流星02027 IT#企业架构架构框架TOGAF认证TOGAF考试TOGAF框架国际主流架构框架
    国际主流架构框架表格国际主流架构框架架构框架英名全称中文名简介适用场景优缺点TOGAFTheOpenGroupArchitectureFramework开放工作组体系结构框架是由TheOpenGroup组织开发的一种企业架构框架，它提供了一套方法论、工具和术语，用于帮助组织设计、规划、实施和管理企业架构。TOGAF框架的核心是其架构开发方法（ADM），这是一个迭代的过程，涵盖了从架构愿景到架构实施
  • vue若依框架dicts中字典项的使用：表格展示与下拉框示例 豆豆（前端开发+ui设计） vue.js前端javascript
    在若依框架的开发中，字典项的使用可以帮助我们更方便地管理和展示一些具有固定取值范围的数据，比如颜色类型、人员类型等。下面将详细介绍若依框架中字典项在表格和下拉框中的使用方法。1.若依字典项的配置在若依框架中，我们首先需要在系统管理-字典管理中配置所需的字典。假设我们要配置两个字典：颜色（color）和人员类型（personnel_type）。具体配置如下：颜色字典（color）字典标签字典值红色1
  • vertx 三笠爷 vert.x
    vert.x是reactive(响应式编程),是一种思想,特点:事件驱动(发挥单台机器的性能):单台机器上,用少量线程处理大量并发异步处理请求(多个服务间通信阻塞较少,响应时间降低):https://vertx.io/官网基于netty的、运行在jvm之上的、支持多种编程语言的高性能异步、非阻塞、响应式全栈javaweb框架eclipse软件基金会顶级java开源项目之一在techempower.
  • JAVA面试题 qq_40055200 java开发语言
    1.简述什么是值传递和引用传递？值传递：方法调用时，实际参数把它的值传递给对应的形式参数，方法执行中形式参数值的改变不影响实际参数的值。引用传递：也称为传地址。方法调用时，实际参数的引用(地址，而不是参数的值)被传递给方法中相对应的形式参数，在方法执行中，对形式参数的操作实际上就是对实际参数的操作，方法执行中形式参数值的改变将会影响实际参数的值。2.简述什么是迭代器是Java集合框架中的一种机制，
  • 深入理解Spring FactoryBean：灵活创建复杂对象的秘密武器 冬天vs不冷 springspringjava后端
    目录引言一、什么是FactoryBean？二、FactoryBean的典型使用场景三、实战案例：自定义FactoryBean四、注意事项总结引言  在Spring框架中，Bean的创建通常由容器直接通过反射机制完成。然而，某些场景下对象的创建逻辑较为复杂（例如需要依赖外部资源、动态代理或定制化初始化流程），此时直接通过@Bean注解可能无法满足需求。FactoryBean是Spring提供的一个强
  • Vue3 中的 defineProps：优雅地实现子父组件传值 良月柒 vue.js前端javascript
    Vue.js一直以来都是前端开发者们钟爱的框架之一，而在最新的Vue3中，引入了一些新的特性和改进，其中之一就是defineProps。defineProps提供了一种更加明确和类型安全的方式来定义子组件的props，让子父组件之间的数据传递更加清晰和可维护。本文将介绍Vue3中defineProps的用法以及如何在子组件中使用它来接收父组件传递的props数据。什么是defineProps？de
  • vue3项目开发总结 Yaru11 vue前端
    一、项目准备1、明确项目需求和目标在开始构建项目之前，首先要明确项目的需求和目标。这包括了解项目的业务背景、功能需求、性能要求等，以便为后续的技术选型和架构设计提供指导。2、技术选型与框架选择前端框架：选择Vue3作为前端框架，利用其组件化、响应式等特性来提高开发效率和代码质量。构建工具：当前使用的是vue-cli。推荐使用Vite作为构建工具，因为它具有快速的冷启动、实时的热更新和简洁的配置等优
  • Rasa：开源的机器学习框架 Indra_ran 开源机器学习人工智能linuxcentos运维
    一、Rasa简介Rasa是一套用来构建基于上下文的AI小助手和聊天机器人框架。分为两个主要的模块：NLU：自然语言理解模块，实现意图识别以及槽值的提取，将用户的输入转化为结构性数据，在训练过程中，为了提高从用户信息的实体识别能力，采用了预先训练的实体提取器Pre-trainedEntityExtractors，正则表达式Regexes，同义词Synonyms等RasaCore：对话管理模块，也是一
  • 《vue.js前端框架技术》 韩靓. 前端框架vue.jsflutter
    一、引言在当今快速发展的互联网时代，前端开发技术不断推陈出新，众多框架和工具如雨后春笋般涌现，而Vue.js凭借其独特的优势，在前端开发领域中占据了重要的一席之地。它以简洁的语法、高效的性能和灵活的扩展性，为开发者提供了一种便捷且强大的方式来构建各类交互式的用户界面。无论是简单的企业展示网站、小型的移动应用，还是复杂的大型单页面应用（SPA），Vue.js都展现出了卓越的适应性和实用性，能够满足不
  • 深入解析 Vert.x 的关键特性、架构及其在异步编程中的应用 不是二师兄的八戒 架构Vert.x
    下面将对Vert.x进行更深入的解读，从其底层架构、事件驱动模型、线程模型、集群模式、以及与现代微服务体系的深度集成等方面来进行拓展，以便全面理解Vert.x作为一个异步非阻塞框架的优势和复杂性。1.Vert.x底层架构详解1.1多反应器架构(Multi-ReactorPattern)Vert.x的核心是基于多反应器模式（Multi-ReactorPattern），这使得它可以有效地处理大量的并发
  • 【合集】Java进阶——Java深入学习的笔记汇总 & 再论面向对象、数据结构和算法、JVM底层、多线程、类加载、 web_15534274656 面试学习路线阿里巴巴java学习笔记
    前言spring作为主流的JavaWeb开发的开源框架，是Java世界最为成功的框架，持续不断深入认识spring框架是Java程序员不变的追求；而spring的底层其实就是Java，因此，深入学习Spring和深入学习Java是硬币的正反面，两者相辅相成，相互促进。本篇博客是一篇不定期持续更新的博客，是一些Java深入学习的笔记汇总。目录前言面向对象专题再论面向对象封装和关键字private，t
  • 【Py/Java/C++/C/JS/Go六种语言OD独家2024E卷真题】20天拿下华为OD笔试之【BFS】2024E-狼羊过河【欧弟算法】全网注释最详细分类最全的华为OD真题题解 闭着眼睛学算法 最新华为OD真题#BFS#模拟算法javac++华为odc语言javascriptleetcode
    可上欧弟OJ系统练习华子OD、大厂真题绿色聊天软件戳oj1441了解算法冲刺训练（备注【CSDN】否则不通过）文章目录相关推荐阅读题目描述与示例题目描述输入描述输出描述补充说明示例输入输出说明解题思路转化为搜索状态树最小层数问题节点的设计以及更新重复状态的排除代入BFS代码框架代码pythonJavaC++CNodeJavaScriptGo时空复杂度华为OD算法/大厂面试高频题算法练习冲刺训练相关
  • MyBatis的if标签的基本使用 君子剑mango #MyBatis框架mybatisjava开发语言
    在MyBatis框架中，if标签用于在构建SQL语句时，根据参数条件判断的结果，动态地选择加入或不加where条件中。一常见使用在使用MyBatis处理查询逻辑的时候，常用的是判断一些参数是否为空，列举常用的几种情况展示1.1数据准备1.1.1创建表模型CREATETABLE`approval_info`(`id`BIGINTNOTNULLAUTO_INCREMENT,`info_name`VAR
  • golang - context包使用示例 以及 底层实现 切尔诺贝尔 golanggo上下文context并发
    文章目录1.context常用方法，以及各种适用于什么场景1.1context含有的方法1.2方法适用场景和伪代码示例1.2.1值传递：比如gin框架中用来传递key,value的值，自己简单示例如下1.2.2超时控制-timeout:http请求设置超时时间1.2.3,超时控制-deadline:比如文件io或者网络io等耗时操作，可以查看剩余的时间是否充足，决定是否进行下一步操作1.2.4.取
  • darts框架使用 ME_Seraph 机器学习darts
    文|Seraph高版本Pytorch问题运行test.py报错IndexError:invalidindexofa0-dimtensor.Usetensor.item()toconverta0-dimtensortoaPythonnumber解决：update函数的参数loss.data[0]，prec1.data[0]，prec5.data[0]等修改为loss.item()，prec1.ite
  • 【设计模式】【结构型模式】外观模式（Facde） FLZJ_KL 设计模式设计模式外观模式java
    hi，我不是一名外包公司的员工，也不会偷吃茶水间的零食，我的梦想是能写高端CRUD2025本人正在沉淀中…博客更新速度++欢迎点赞、收藏、关注，跟上我的更新节奏当你的天空突然下了大雨，那是我在为你炸乌云文章目录一、入门什么是外观模式？为什么要有外观模式？如何实现外观模式？二、外观模式在框架源码中的运用SpringFramework中的JdbcTemplateJavaNIO的Files工具类（JDK
  • 【设计模式】【行为型模式】迭代器模式（Iterator） FLZJ_KL 设计模式设计模式迭代器模式java
    hi，我不是一名外包公司的员工，也不会偷吃茶水间的零食，我的梦想是能写高端CRUD2025本人正在沉淀中…博客更新速度++欢迎点赞、收藏、关注，跟上我的更新节奏当你的天空突然下了大雨，那是我在为你炸乌云文章目录一、入门什么是迭代器模式？为什么要迭代器模式？怎么实现迭代器模式？二、迭代器模式在源码中的运用Java集合框架（JavaCollectionsFramework）Java集合框架迭代器的使用
  • electron-vue 安装环境、构建+打包（mac和windows）这一篇就够了 阿毛sky electronvue前端
    由于公司需要，下一个项目需要做CS开发，技术选型分析后，选择了electron（Electron是一个使用JavaScript,HTML和CSS等Web技术创建原生程序的框架）研究发现，electron与vue-cli3.0脚手架做了很好的融合，对于我们这种用惯了vue，以及elementUI这些UI框架的Web前端开发工程师来说，实在太友好了，不过，这是一门国外框架技术，不仅是环境搭建、安装、文
  • TypeScript 与后端开发Node.js m0_74825746 面试学习路线阿里巴巴typescriptnode.jsjavascript
    文章目录一、搭建TypeScript+Node.js项目（一）初始化项目并安装相关依赖1、创建项目目录并初始化2、安装必要的依赖包（二）配置TypeScript编译选项（如模块解析方式适合后端）二、编写服务器代码（一）定义路由类型（使用Express等框架）（二）处理请求和响应的类型（包括中间件的类型）1、请求类型处理2、响应类型处理3、中间件类型处理三、数据库交互（一）使用Type-Safe的数
  • 基于医疗知识图谱的问答系统 基于知识图谱的多轮问答 附完整代码数据详细教程 计算机毕设论文 深度学习-自然语言处理nlp医疗知识知识图谱Neo4j多轮问答
    这个项目已实现的功能：1.闲聊类的单论对话2.基于知识图谱的多轮问答数据链接：链接：https://pan.baidu.com/s/1oPr1m8aaIeoMu53OIEULPg提取码：fh39一、项目来源由于之前用Rasa构建过对话系统，因此一直想脱离Rasa这个开源框架，从底层开始构建一个可以实现相似功能的对话系统，毕竟框架用的再溜，都不如自己做一遍。恰巧在Rasa群里看到了前辈分享的一个项目
  • 前端开发：Vue项目报错Unknown custom element：XXX - did you register the component correctly…的解决方法丨蓄力计划 三掌柜666 前端开发进阶vue.jsjavascript
    导读Vue项目报错Unknowncustomelement:XXX-didyouregisterthecomponentcorrectly…的解决方法。问题前段时间在做前端项目的时候，遇到了一个关于饿了么框架的报错问题，具体报错信息如下所示：[Vuewarn]:Unknowncustomelement:-didyouregisterthecomponentcorrectly?Forrecursiv
  • 大数据知识图谱之深度学习——基于BERT+LSTM+CRF深度学习识别模型医疗知识图谱问答可视化系统_bert+lstm 2301_76348014 程序员深度学习大数据知识图谱
    文章目录大数据知识图谱之深度学习——基于BERT+LSTM+CRF深度学习识别模型医疗知识图谱问答可视化系统一、项目概述二、系统实现基本流程三、项目工具所用的版本号四、所需要软件的安装和使用五、开发技术简介Django技术介绍Neo4j数据库Bootstrap4框架Echarts简介NavicatPremium15简介Layui简介Python语言介绍MySQL数据库深度学习六、核心理论贪心算法A
  • eclipse maven IXHONG eclipse
    eclipse中使用maven插件的时候，运行run as maven build的时候报错 -Dmaven.multiModuleProjectDirectory system propery is not set. Check $M2_HOME environment variable and mvn script match.   可以设一个环境变量M2_HOME指
  • timer cancel方法的一个小实例 alleni123 多线程timer
    package com.lj.timer; import java.util.Date; import java.util.Timer; import java.util.TimerTask; public class MyTimer extends TimerTask { private int a; private Timer timer; pub
  • MySQL数据库在Linux下的安装 ducklsl mysql
    1.建好一个专门放置MySQL的目录 /mysql/db数据库目录 /mysql/data数据库数据文件目录 2.配置用户，添加专门的MySQL管理用户 >groupadd mysql ----添加用户组 >useradd -g mysql mysql ----在mysql用户组中添加一个mysql用户 3.配置，生成并安装MySQL >cmake -D
  • spring------>>cvc-elt.1: Cannot find the declaration of element Array_06 springbean
    将-------- <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans"     xmlns:xsi="http://www.w3
  • maven发布第三方jar的一些问题 cugfy maven
    maven中发布 第三方jar到nexus仓库使用的是 deploy:deploy-file命令 有许多参数，具体可查看 http://maven.apache.org/plugins/maven-deploy-plugin/deploy-file-mojo.html 以下是一个例子： mvn  deploy:deploy-file -DgroupId=xpp3
  • MYSQL下载及安装 357029540 mysql
        好久没有去安装过MYSQL，今天自己在安装完MYSQL过后用navicat for mysql去厕测试链接的时候出现了10061的问题，因为的的MYSQL是最新版本为5.6.24，所以下载的文件夹里没有my.ini文件，所以在网上找了很多方法还是没有找到怎么解决问题，最后看到了一篇百度经验里有这个的介绍，按照其步骤也完成了安装，在这里给大家分享下这个链接的地址
  • ios TableView cell的布局 张亚雄 tableview
      cell.imageView.image = [UIImage imageNamed:[imageArray objectAtIndex:[indexPath row]]];           CGSize itemSize = CGSizeMake(60, 50);   &nbs
  • Java编码转义 adminjun java编码转义
    import java.io.UnsupportedEncodingException; /** * 转换字符串的编码 */ public class ChangeCharset { /** 7位ASCII字符，也叫作ISO646-US、Unicode字符集的基本拉丁块 */ public static final Strin
  • Tomcat 配置和spring aijuans spring
    简介 Tomcat启动时，先找系统变量CATALINA_BASE，如果没有，则找CATALINA_HOME。然后找这个变量所指的目录下的conf文件夹，从中读取配置文件。最重要的配置文件：server.xml 。要配置tomcat，基本上了解server.xml，context.xml和web.xml。 Server.xml --  tomcat主
  • Java打印当前目录下的所有子目录和文件 ayaoxinchao 递归File
    其实这个没啥技术含量，大湿们不要操笑哦，只是做一个简单的记录，简单用了一下递归算法。   import java.io.File; /** * @author Perlin * @date 2014-6-30 */ public class PrintDirectory { public static void printDirectory(File f
  • linux安装mysql出现libs报冲突解决 BigBird2012 linux
    linux安装mysql出现libs报冲突解决 安装mysql出现 file /usr/share/mysql/ukrainian/errmsg.sys from install of MySQL-server-5.5.33-1.linux2.6.i386 conflicts with file from package mysql-libs-5.1.61-4.el6.i686  
  • jedis连接池使用实例 bijian1013 redisjedis连接池jedis
    实例代码： package com.bijian.study; import java.util.ArrayList; import java.util.List; import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; import redis.clients.jedis.JedisPoo
  • 关于朋友 bingyingao 朋友兴趣爱好维持
      成为朋友的必要条件：    志相同，道不合，可以成为朋友。譬如马云、周星驰一个是商人，一个是影星，可谓道不同，但都很有梦想，都要在各自领域里做到最好，当他们遇到一起，互相欣赏，可以畅谈两个小时。     志不同，道相合，也可以成为朋友。譬如有时候看到两个一个成绩很好每次考试争做第一，一个成绩很差的同学是好朋友。他们志向不相同，但他
  • 【Spark七十九】Spark RDD API一 bit1129 spark
    aggregate package spark.examples.rddapi import org.apache.spark.{SparkConf, SparkContext} //测试RDD的aggregate方法 object AggregateTest { def main(args: Array[String]) { val conf = new Spar
  • ktap 0.1 released bookjovi kerneltracing
    Dear, I'm pleased to announce that ktap release v0.1, this is the first official release of ktap project, it is expected that this release is not fully functional or very stable and we welcome bu
  • 能保存Properties文件注释的Properties工具类 BrokenDreams properties
            今天遇到一个小需求：由于java.util.Properties读取属性文件时会忽略注释，当写回去的时候，注释都没了。恰好一个项目中的配置文件会在部署后被某个Java程序修改一下，但修改了之后注释全没了，可能会给以后的参数调整带来困难。所以要解决这个问题。     &nb
  • 读《研磨设计模式》-代码笔记-外观模式-Facade bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /* * 百度百科的定义： * Facade（外观）模式为子系统中的各类（或结构与方法）提供一个简明一致的界面， * 隐藏子系统的复杂性，使子系统更加容易使用。他是为子系统中的一组接口所提供的一个一致的界面 * * 可简单地
  • After Effects教程收集 cherishLC After Effects
    1、中文入门 http://study.163.com/course/courseMain.htm?courseId=730009 2、videocopilot英文入门教程（中文字幕） http://www.youku.com/playlist_show/id_17893193.html 英文原址： http://www.videocopilot.net/basic/ 素
  • Linux Apache 安装过程 crabdave apache
    Linux Apache 安装过程   下载新版本： apr-1.4.2.tar.gz（下载网站：http://apr.apache.org/download.cgi） apr-util-1.3.9.tar.gz（下载网站：http://apr.apache.org/download.cgi） httpd-2.2.15.tar.gz（下载网站：http://httpd.apac
  • Shell学习 之 变量赋值和引用 daizj shell变量引用赋值
    本文转自：http://www.cnblogs.com/papam/articles/1548679.html Shell编程中，使用变量无需事先声明，同时变量名的命名须遵循如下规则： 首个字符必须为字母（a-z，A-Z） 中间不能有空格，可以使用下划线（_） 不能使用标点符号 不能使用bash里的关键字（可用help命令查看保留关键字） 需要给变量赋值时，可以这么写：
  • Java SE 第一讲（Java SE入门、JDK的下载与安装、第一个Java程序、Java程序的编译与执行） dcj3sjt126com javajdk
    Java SE 第一讲： Java SE：Java Standard Edition Java ME: Java Mobile Edition Java EE：Java Enterprise Edition Java是由Sun公司推出的（今年初被Oracle公司收购）。 收购价格：74亿美金 J2SE、J2ME、J2EE JDK：Java Development
  • YII给用户登录加上验证码 dcj3sjt126com yii
    1、在SiteController中添加如下代码： /** * Declares class-based actions. */ public function actions() { return array( // captcha action renders the CAPTCHA image displ
  • Lucene使用说明 dyy_gusi Lucenesearch分词器
    Lucene使用说明 1、lucene简介 1.1、什么是lucene     Lucene是一个全文搜索框架，而不是应用产品。因此它并不像baidu或者googleDesktop那种拿来就能用，它只是提供了一种工具让你能实现这些产品和功能。 1.2、lucene能做什么     要回答这个问题，先要了解lucene的本质。实际
  • 学习编程并不难,做到以下几点即可! gcq511120594 数据结构编程算法
    不论你是想自己设计游戏，还是开发iPhone或安卓手机上的应用，还是仅仅为了娱乐，学习编程语言都是一条必经之路。编程语言种类繁多，用途各 异，然而一旦掌握其中之一，其他的也就迎刃而解。作为初学者，你可能要先从Java或HTML开始学，一旦掌握了一门编程语言，你就发挥无穷的想象，开发 各种神奇的软件啦。 1、确定目标 学习编程语言既充满乐趣，又充满挑战。有些花费多年时间学习一门编程语言的大学生到
  • Java面试十问之三：Java与C++内存回收机制的差别 HNUlanwei javaC++finalize()堆栈内存回收
    大家知道， Java 除了那 8 种基本类型以外，其他都是对象类型（又称为引用类型）的数据。 JVM 会把程序创建的对象存放在堆空间中，那什么又是堆空间呢？其实，堆（ Heap）是一个运行时的数据存储区，从它可以分配大小各异的空间。一般，运行时的数据存储区有堆（ Heap）和堆栈（ Stack），所以要先看它们里面可以分配哪些类型的对象实体，然后才知道如何均衡使用这两种存储区。一般来说，栈中存放的
  • 第二章 Nginx+Lua开发入门 jinnianshilongnian nginxlua
    Nginx入门 本文目的是学习Nginx+Lua开发，对于Nginx基本知识可以参考如下文章： nginx启动、关闭、重启 http://www.cnblogs.com/derekchen/archive/2011/02/17/1957209.html agentzh 的 Nginx 教程 http://openresty.org/download/agentzh-nginx-tutor
  • MongoDB windows安装 基本命令 liyonghui160com
      windows安装    安装目录：   D:\MongoDB\   新建目录   D:\MongoDB\data\db   4.启动进城：   cd D:\MongoDB\bin   mongod -dbpath D:\MongoDB\data\db   &n
  • Linux下通过源码编译安装程序 pda158 linux
    一、程序的组成部分 　　Linux下程序大都是由以下几部分组成： 　　二进制文件：也就是可以运行的程序文件 　　库文件：就是通常我们见到的lib目录下的文件 　　配置文件：这个不必多说，都知道 　　帮助文档：通常是我们在linux下用man命令查看的命令的文档 　　 二、linux下程序的存放目录 　　linux程序的存放目录大致有三个地方： 　　/etc, /b
  • WEB开发编程的职业生涯４个阶段 shw3588 编程Web工作生活
    觉得自己什么都会 2007年从学校毕业，凭借自己原创的ASP毕业设计，以为自己很厉害似的，信心满满去东莞找工作，找面试成功率确实很高，只是工资不高，但依旧无法磨灭那过分的自信，那时候什么考勤系统、什么OA系统、什么ERP，什么都觉得有信心，这样的生涯大概持续了约一年。 根本不是自己想的那样 2008年开始接触很多工作相关的东西，发现太多东西自己根本不会，都需要去学，不管是asp还是js，
  • 遭遇jsonp同域下变作post请求的坑 vb2005xu jsonp同域post
    今天迁移一个站点时遇到一个坑爹问题,同一个jsonp接口在跨域时都能调用成功,但是在同域下调用虽然成功,但是数据却有问题. 此处贴出我的后端代码片段 $mi_id = htmlspecialchars(trim($_GET['mi_id '])); $mi_cv = htmlspecialchars(trim($_GET['mi_cv ']));  贴出我前端代码片段: $.aj
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他