修改caffe中resize的方式

opencv的resize默认的是使用双线性插值INTER_LINEAR,也可以是尝试其他的方式进行插值操作

if (param.random_interpolation_method()) {
    // 0: INTER_NEAREST
    // 1: INTER_LINEAR
    // 2: INTER_CUBIC
    // 3: INTER_AREA
    // 4: INTER_LANCZOS4
    int interpolation = caffe_rng_rand() % 5;
    cv::resize(cv_img_origin, img, cv::Size(new_width, new_height), 0, 0,
        interpolation);
  } else if (param.use_self_resize_fun()) {
    // TODO(kun): resize_model() now is not well verified.
    // When use_self_resize_fun, we consider cv::resize() just in case.
    if (caffe_rng_rand() % 2) {
      cv::resize(cv_img_origin, img, cv::Size(new_width, new_height));
    } else {
      img = cv::Mat(new_height, new_width, cv_img_origin.type());
      int mode = caffe_rng_rand() % 2;
      resize_model(img.data, cv_img_origin.data,
          cv_img_origin.cols, cv_img_origin.rows,
          new_width, new_height, NULL, mode);
    }
  } else {  // Resize using INTER_LINEAR
    cv::resize(cv_img_origin, img, cv::Size(new_width, new_height));
  }

在windows平台上，本地训练SSD_512得到了对应的权值参数文件，加载模型进行前向测试的时候，发现调用caffe.io.Transformer中的resize处理函数速度太慢，打算用opencv的resize做替换，因此更改了输入图片到模型中的预处理过程，使用caffe.io.Transformer进行预处理的过程如下：

import numpy as np
import sys,os
# 设置当前的工作环境在caffe下
caffe_root = '/home/xxx/caffe/'
# 我们也把caffe/python也添加到当前环境
sys.path.insert(0, caffe_root + 'python')
import caffe
os.chdir(caffe_root)#更换工作目录
 
# 设置网络结构
net_file=caffe_root + 'models/bvlc_reference_caffenet/deploy.prototxt'
# 添加训练之后的参数
caffe_model=caffe_root + 'models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel'
# 均值文件
mean_file=caffe_root + 'python/caffe/imagenet/ilsvrc_2012_mean.npy'
 
# 这里对任何一个程序都是通用的，就是处理图片
# 把上面添加的两个变量都作为参数构造一个Net
net = caffe.Net(net_file,caffe_model,caffe.TEST)
# 得到data的形状，这里的图片是默认matplotlib底层加载的
transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape})
# matplotlib加载的image是像素[0-1],图片的数据格式[weight,high,channels]，RGB
# caffe加载的图片需要的是[0-255]像素，数据格式[channels,weight,high],BGR，那么就需要转换
 
# channel 放到前面
transformer.set_transpose('data', (2,0,1))
transformer.set_mean('data', np.load(mean_file).mean(1).mean(1))
# 图片像素放大到[0-255]
transformer.set_raw_scale('data', 255)
# RGB-->BGR 转换
transformer.set_channel_swap('data', (2,1,0))
 
# 这里才是加载图片
im=caffe.io.load_image(caffe_root+'examples/images/cat.jpg')
# 用上面的transformer.preprocess来处理刚刚加载图片
net.blobs['data'].data[...] = transformer.preprocess('data',im)
#注意,网络开始向前传播啦
out = net.forward()
# 最终的结果: 当前这个图片的属于哪个物体的概率(列表表示)
output_prob = output['prob'][0]
# 找出最大的那个概率
print 'predicted class is:', output_prob.argmax()

用opencv2中的resize函数替换之后，检测的结果很差，最终通过比较两种resize方式对同一张图片处理后结果的差异，发现两种方式存在不同，虽然说差异很小，但是也会严重影响检测结果，原因可能如下：

模型不够鲁棒
caffe中的resize和opencv中的resize的默认插值方式可能不同，这点需要看源码进行确认

在ubuntu上不存在这个问题，猜想可能是在windows下的caffe不是官方提供的，可能处理方式存在差异
最终，全部采用caffe.io.Transformer的方式进行图片的预处理，检测结果恢复正常。

此外，测试了opencv2和opencv3，发现用opencv2处理图片，检测的效果更好，原因未知！