NDK开发实践 - 利用OpenCV识别银行卡号

前言

在平常生活中，我们在与金融有关的APP中看到添加银行卡，扫描得到银行卡号的快捷输入方式。比如，在支付宝中就能看到，其实这个需求现在已经有一些成熟的第三方库，收费或者不收费，如果是在实际项目中，还是推荐是用别人已经比较成熟的库。不过学习NDK一段时间了，以及学习Opencv一段时间后，其实我们也可以拥戴末实现类似的效果，记录下来，方便如果以后遇到，更好的使用或者有条件的优化别人的第三方库。

下图是我们常见的银行卡

有几个特征，最外层是银行卡区域，左上角一般是 logo 和银行名称标识，右下角是银联区域，中间是我们要识别的卡号区域。有了这几个特征我们就有了思路了：

1.筛选过滤截取银行卡区域；
2.根据标识筛选截取银行卡号区域；
3.二值分析与特征提取；
4.数字分割识别显示。

1.筛选过滤截取银行卡区域

opencv 操作的是 mat 类型，我们拍照获取的是 Bitmap 类型，后面我们会获取每一帧进行处理，原理和套路都是一致的，由易到难，先来简单点的。所以第一个要写的方法就是 Bitmap 和 Mat 相互转换：

1void MatBitmapUtil::bitmap2mat(JNIEnv *env, Mat &mat, jobject &bitmap) {
    // 锁定画布 获取首地址像素
    void* pixels = 0;
    AndroidBitmap_lockPixels(env,bitmap,&pixels);

    // 获取信息判断格式
    AndroidBitmapInfo *bitmapInfo = new AndroidBitmapInfo();
    AndroidBitmap_getInfo(env,bitmap,bitmapInfo);
    mat.create(bitmapInfo->height,bitmapInfo->width,CV_8UC4);

    if(bitmapInfo->format == ANDROID_BITMAP_FORMAT_RGBA_8888){
        // argb
        Mat temp(bitmapInfo->height,bitmapInfo->width,CV_8UC4,pixels);
        temp.copyTo(mat);
    } else if(bitmapInfo->format == ANDROID_BITMAP_FORMAT_RGB_565){
        // rgb
        Mat temp(bitmapInfo->height,bitmapInfo->width,CV_8UC2,pixels);
        temp.copyTo(mat,COLOR_BGR5652BGRA);
    }
    // 其他要自己去转
    
    // 解锁画布
    AndroidBitmap_unlockPixels(env,bitmap);
    delete(bitmapInfo);
}


void MatBitmapUtil::mat2Bitmap(JNIEnv *env, Mat &mat, jobject &bitmap) {
    // 1. 获取 bitmap 信息
    AndroidBitmapInfo info;
    void* pixels;
    AndroidBitmap_getInfo(env,bitmap,&info);

    // 锁定 Bitmap 画布
    AndroidBitmap_lockPixels(env,bitmap,&pixels);

    if(info.format == ANDROID_BITMAP_FORMAT_RGBA_8888){// C4
        Mat temp(info.height,info.width,CV_8UC4,pixels);
        if(mat.type() == CV_8UC4){
            mat.copyTo(temp);
        }
        else if(mat.type() == CV_8UC2){
            cvtColor(mat,temp,COLOR_BGR5652BGRA);
        }
        else if(mat.type() == CV_8UC1){// 灰度 mat
            cvtColor(mat,temp,COLOR_GRAY2BGRA);
        }
    } else if(info.format == ANDROID_BITMAP_FORMAT_RGB_565){// C2
        Mat temp(info.height,info.width,CV_8UC2,pixels);
        if(mat.type() == CV_8UC4){
            cvtColor(mat,temp,COLOR_BGRA2BGR565);
        }
        else if(mat.type() == CV_8UC2){
            mat.copyTo(temp);
        }
        else if(mat.type() == CV_8UC1){// 灰度 mat
            cvtColor(mat,temp,COLOR_GRAY2BGR565);
        }
    }
    // 其他要自己去转

    // 解锁 Bitmap 画布
    AndroidBitmap_unlockPixels(env,bitmap);
}

2.根据标识筛选截取银行卡号区域；

截取到银行卡区域后，我们就可以根据我们的银行卡标识，去筛选截取我们的卡号区域。

JNIEXPORT jint JNICALL
Java_com_darren_ndk_day05_FaceDetection_bankOcr(JNIEnv *env, jobject instance,
                                                              jobject bitmap) {
    // Bitmap 转成 opencv 能操作的 C++ 对象 Mat , Mat 是一个矩阵
    Mat mat;
    MatBitmapUtil::bitmap2mat(env, mat, bitmap);
    // 1.筛选过滤截取银行卡区域
    Rect card_rect = co1::find_card_area(mat);
    Mat card_mat(mat,card_rect);
    //  2. 根据标识筛选截取银行卡号区域；
    Rect card_number_rect = co1::find_card_number_area(mat);
    Mat card_number_mat(card_mat,card_number_mat);
    //  3. 写入文件看一看
    imwrite("/storage/emulated/0/ocr/card_number.jpg",card_mat);
    LOGE("处理完毕");
    return 0;
}

红色区域为卡号区域

3.二值分析与特征提取；

有了上面这一块区域之后，我们首先要做的肯定需要转为灰度然后进行二值化。

    // 转为灰度
    Mat gray;
    cvtColor(mat, gray, COLOR_BGRA2GRAY);
    Mat binary;
    // 可以用 THRESH_OTSU , 也可以手动指定
    threshold(gray, binary, 39, 255, THRESH_BINARY);
    // 进行降噪
    Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3));
    morphologyEx(binary, binary, MORPH_CLOSE, kernel);
    imwrite("/storage/emulated/0/ocr/card_number_binary.jpg", binary);

上面的效果看上去还是有很多的干扰，我们对其进行轮廓发现，把那些不需要的干扰进行填充。

  vector > contours;
    Mat binary_not = binary.clone();
    // 取反, 白黑 -> 黑白
    bitwise_not(binary_not, binary_not);
    // 轮廓查找
    findContours(binary_not, contours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);
    int minh = binary.rows / 4;
    int matArea = mat.rows * mat.cols;
    for (int i = 0; i < contours.size(); i++) {
        Rect roi = boundingRect(contours[i]);
        int area = roi.width * roi.height;
        // 面积太小的过滤
        if (area < matArea / 200) {
            drawContours(binary, contours, i, Scalar(255), -1);
            continue;
        }
        // 高度太低的过滤
        if (roi.height <= minh) {
            drawContours(binary, contours, i, Scalar(255), -1);
        }
    }

可以看到黑色干扰区域已经没了。得到这个Mat 之后，我们首先对其进行字符分割，然后进行特征提取匹配就好了，但是值得提醒的是，我们需要对粘连字符进行分割，尽管我的这张卡没有粘连字符的情况

    // 字符的分割
    binary.copyTo(binary_not);
    bitwise_not(binary_not, binary_not);
    findContours(binary_not, contours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);
    Rect rects[contours.size()];
    // 创建新的 mat 用来画数字
    Mat contours_mat(binary_not.size(), CV_8UC1, Scalar(255));
    // 记录数字最小宽度(粘连字符)
    int minw = mat.cols;
    for (int i = 0; i < contours.size(); i++) {
        rects[i] = boundingRect(contours[i]);
        drawContours(contours_mat, contours, i, Scalar(0), 1);
        minw = min(minw, rects[i].width);
    }
    imwrite("/storage/emulated/0/ocr/card_number_binary.jpg", contours_mat);
    // 防止循序错乱，进行重新排序
    for (int i = 0; i < contours.size(); ++i) {
        for (int j = 0; j < contours.size() - i - 1; ++j) {
            if (rects[j].x > rects[j + 1].x) {
                swap(rects[j], rects[j + 1]);
            }
        }
    }
    numbers.clear();
    // 最小宽度的两倍
    minw = minw * 2;
    for (int i = 0; i < contours.size(); ++i) {
        if (minw < rects[i].width) {
            // 大于最小宽度的两倍，判断是粘连字符，对粘连字符进行分割
            Mat number(binary, rects[i]);
            int cols_pos = get_split_cols_pos(number);
            Rect rect_left = Rect(0, 0, cols_pos - 1, rects[i].height);
            numbers.push_back(Mat(contours_mat, rect_left));
            Rect rect_right = Rect(cols_pos + 1, 0, rects[i].width, rects[i].height);
            numbers.push_back(Mat(contours_mat, rect_right));
        } else {
            Mat number(contours_mat, rects[i]);
            numbers.push_back(number);
        }
    }

// 获取粘连位置
int co1::get_split_cols_pos(const Mat &mat) {
    // 中心位置
    int mx = mat.cols / 2;
    // 高度
    int height = mat.rows;
    // 左右 1/4 去扫描
    int startx = mx - mx/4;
    int endx = mx + mx/4;
    // 粘连位置
    int clos_pos = mx;
    int c = 0;
    // 最小的黑色像素
    int minh = mat.rows;
    for (int col = startx; col <= endx; col++) {
        // 这一列有多少个黑色像素
        int total = 0;
        for (int row = 0; row < height; row++) {
            c = mat.at(row, col)[0];
            if (c == 0) {
                total++;
            }
        }
        // 保存当前列
        if (total < minh) {
            minh = total;
            clos_pos = col;
        }
    }
    return clos_pos;
}

到这一步就得到了19张单独的图片，下一步就需要识别出单张

4.数字分割识别显示

可以利用人工智能算法，进行特征值提取识别。