NCNN 源码学习【三】：数据处理

一、Topic：数据处理

这次我们来一段NCNN应用代码中，除了推理外最重要的一部分代码，数据处理：

    ncnn::Mat in = ncnn::Mat::from_pixels_resize(bgr.data, ncnn::Mat::PIXEL_BGR, bgr.cols, bgr.rows, 227, 227);

    const float mean_vals[3] = {104.f, 117.f, 123.f};
    in.substract_mean_normalize(mean_vals, 0);

这一部分代码由两部分组成：

• from_pixels_resize：将cv::Mat数据转换到ncnn::Mat同时进行resize操作
• substract_mean_normalize：这个就是减均值除方差

二、from_pixels_resize

先看名字，from_pixels_resize由两部分组成：

1. from_pixels：从unsigned char* 的数组转换到 ncnn::Mat
2. resize：unsigned char* 的数据下进行resize

源码中是先进行resize再进行from_pixels。

A、resize

这个代码支持三种图像类型：单通道的GRAY、三通道的RGB和BGR、四通道的RGBA。源码使用的都是bilinear插值，这里我们挑个简单的单通道GRAY的来看看，函数名字很直观，就叫做resize_bilinear_c1，后面的c1就是chennel 1的意思。具体的代码在mat_pixel.cpp的第1414行，这个我就不细说了，大家可以去看这个文章，这个虽然写的是TNN的，但仔细看下来会发现其实跟NCNN的实现是一样的（变量名也一样）。

这个大体流程就是：

1. 先算x、y方向上插值点的位置索引xofs和yofs
2. 再算x、y方向上插值点左右的两个插值稀疏iapha和ibeta
3. 遍历插值，x方向上的插值用xofs和ialpha得到，y方向上的插值用yofs和ibeta得到

这个计算的细节还是很多的，大家感兴趣的可以去仔细研究一下，这里就不细写了，ncnn的代码为例效率，可能写的不是特别美观。

B、from_pixels

这个就很简单了，就是开辟一块ncnn::Mat的内存，然后遍历数组一个一个填进去就好了，同样的这里支持单通道、三通道、四通道，而且一些颜色转换RGB2BGR、RGB2GRAY这些都是实现支持的，我们挑一个典型的RGB2GRAY的实现来看，源码在mat_pixel.cpp的第539行，函数名就是from_rgb2gray。

static Mat from_rgb2gray(const unsigned char* rgb, int w, int h)
{
    const unsigned char Y_shift = 8;//14
    const unsigned char R2Y = 77;
    const unsigned char G2Y = 150;
    const unsigned char B2Y = 29;

    Mat m(w, h, 1);
    if (m.empty())
        return m;

    float* ptr = m;

    int size = w * h;
    int remain = size;

    for (; remain > 0; remain--)
    {
        *ptr = (rgb[0] * R2Y + rgb[1] * G2Y + rgb[2] * B2Y) >> Y_shift;

        rgb += 3;
        ptr++;
    }

    return m;
}

这个代码很直观，前面就是定义了转换时R、G、B对应要乘的系数，这里作者用的是整数乘法，所以系数放大了2⁸，后面算结果那里要右移回去。后面就是一个暴力for循环，全部遍历把数据塞进去ncnn::Mat就完了。但这里我还想放一下GRAY2RGB的代码，看下很值得注意的细节。

static Mat from_gray2rgb(const unsigned char* gray, int w, int h)
{
    Mat m(w, h, 3);
    if (m.empty())
        return m;

    float* ptr0 = m.channel(0);
    float* ptr1 = m.channel(1);
    float* ptr2 = m.channel(2);

    int size = w * h;

    int remain = size;

    for (; remain>0; remain--)
    {
        *ptr0 = *gray;
        *ptr1 = *gray;
        *ptr2 = *gray;

        gray++;
        ptr0++;
        ptr1++;
        ptr2++;
    }

    return m;
}

从这个可以看出来，获取ncnn::Mat的三个通道的数据，是要用channel索引出来的，这里就是一个需要留意的点，ncnn::Mat的数据存储，channel间的需要对齐，不一定是连续的，也就是不要理所当然的用channel(0)的指针，自己加加加想去访问其他channel的数据，很容易翻车（我就因为这个翻车过），这个我们后面有时间可以好好写一写ncnn的数据排布。

三、substract_mean_normalize

substract_mean_normalize的源码在mat.cpp的第25行，这个代码是支持只mean不norm，只norm不mean，mean和norm都做得，由于这些都大同小异，我就直接贴都做mean和norm的代码了：

void Mat::substract_mean_normalize(const float* mean_vals, const float* norm_vals)
{
    int size = w * h;

    for (int q = 0; q < c; q++)
    {
        float* ptr = data + cstep * q;
        const float mean = mean_vals[q];
        const float norm = norm_vals[q];

        int remain = size;

        for (; remain > 0; remain--)
        {
            *ptr = (*ptr - mean) * norm;
            ptr++;
        }
    }
}

上面比较核心的就一句：

*ptr = (*ptr - mean) * norm;

就是遍历Mat的所有数据，给他减mean乘norm，要注意这里是乘norm，不是一般说的除方差，方差的倒数才是这里的norm。

参考&致谢：

https://zhuanlan.zhihu.com/p/456238585