Hi~BC

Android OpenCV基础（一、OpenCV入门）

一、OpenCV概述

OpenCV（Open Source Computer Vision Library）是一个开源的计算机视觉库，它提供了很多函数，这些函数非常高效地实现了计算机视觉算法（最基本的滤波到高级的物体检测皆有涵盖）。

OpenCV 的应用领域非常广泛，包括图像拼接、图像降噪、产品质检、人机交互、人脸识别、动作识别、动作跟踪、无人驾驶等。OpenCV 还提供了机器学习模块，你可以使用正态贝叶斯、K最近邻、支持向量机、决策树、随机森林、人工神经网络等机器学习算法。

二、OpenCV框架

2.1 OpenCV整体结构

OpenCV 使用 C/C++ 开发，同时也提供了 Python、Java、MATLAB等其他语言的接口，并且提供 Windows、Android（Android库下载）、ios等平台的接口。

OpenCV是由很多模块组成的，这些模块可以分成很多层：

最底层是基于硬件加速层（HAL）的各种硬件优化。
再上一层是OpenCV核心层，包括core、imgproc、calib3d、objdetect等。
再上一层是opencv_contrib，可以理解为OpenCV的扩展模块，里面包含一些最新的算法，不过API尚未稳定或未充分测试。
接下来是语言绑定和示例应用程序。
处于最上层的是 OpenCV 和操作系统的交互。

2.2 OpenCV核心模块

我们主要关注OpenCV核心层，下图显示了 OpenCV核心层中包含的模块：

模块	说明
core	该模块包含 OpenCV 库的基础结构以及基本操作。
improc	图像处理模块包含基本的图像转换，包括滤波以及类似的卷积操作。
highgui	在 OpenCV 3.0中，分割为 imcodecs、videoio 以及 highgui 三部分。这个模块包含可以用来显示图像或者简单的输入的用户交互函数。这可以看作是一个非常轻量级的 Windows UI 工具包。
video	该模块包含读取和写视频流的函数。
calib3d	这个模块包括校准单个、双目以及多个相机的算法实现。
feature2d	这个模块包含用于检测、描述以及匹配特征点的算法。
objdectect	这个模块包含检测特定目标，比如人脸或者行人的算法。也可以训练检测器并用来检测其他物体。
ml	机器学习模块本身是一个非常完备的模块，包含大量的机器学习算法实现并且这些算法都能和 OpenCV 的数据类型自然交互。
flann	Flann 的意思是“快速最邻近库”。这个库包含一些你也许不会直接使用的方法，但是其他模块中的函数会调用它在数据集中进行最邻近搜索。
GPU	在 OpenCV 中被分割为多个 cuda* 模块。 GPU 模块主要是函数在 CUDA GPU 上的优化实现，此外，还有一些仅用于 GPU 的功能。其中一些函数能够返回很好的结果，但是需要足够好的计算资源，如果硬件没有GPU，则不会有什么提升。
photo	这是一个相当新的模块，包含计算摄影学的一些函数工具。
stitching	本模块是一个精巧的图像拼接流程实现。这是库中的新功能，但是，就像 Photo 模块一样，这个领域未来预计有很大的增长。
nonfree	在 OpenCV 3.0 中，被移到 opencv_contrib/xfeatures2d。 OpenCV 包含一些受到专利保护的或者受到使用限制的（比如 SIFT 算法）算法。这些算法被隔离到它们自己的模块中，以表明你需要做一些特殊的工作，才可以在商业产品中使用它们。
contrib	在 OpenCV 3.0 中，融合进了 opencv_contrib。这个模块包含一些新的、还没有被集成进 OpenCV 库的东西。
legacy	在 OpenCV 3.0 中，被取消。这个模块包含一些老的尚未被完全取消的东西。
ocl	在OpenCV 3.0 中，被取消，取而代之的是 T-API。这是一个较新的模块，可以认为它和 GPU 模块相似，它实现了开放并行编程的 Khronos OpenCL 标准。虽然现在模块的特性比 GPU 模块少很多，但 ocl 模块的目标是提供可以运行在任何 GPU 或者是其他可以搭载 Khronos 的并行设备。这与 GPU 模块形成了鲜明的对比，后者使用 Nividia CUDA 工具包进行开发，因此只能在 Nividia GPU 设备上工作。

在OpenCV github项目中可以看到Opencv核心的所有模块：

如果项目中只需要用到OpenCV中的部分模块，并且项目体积要求比较严格，可根据项目需要裁剪OpenCV，把需要的模块单独打包成so。

三、集成OpenCV

在集成OpenCV之前，需要了解一些NDK开发的基础知识（可以参考：Android NDK开发基础）。

要集成OpenCV，可以从OpenCV release页面直接下载官方编译产物，或者自己去OpenCV github下载并按需编译产物。本文主要介绍官方提供的Android平台OpenCV-4.5.5版本集成方式。

3.1 产物介绍

在下载了官方Android平台OpenCV-4.5.5产物后，里面内容如下：

sample：官方示例；
sdk：opencv核心sdk；
- java：opencv java层；java层包结构与上述opencv模块划分一致，里面提供了对应java类，实际实现采用jni的形式实现；
- libcxx_helper：存放CMakeList；
- native：opencv native层；
  - jni：opencv jni层；
  - libs：opencv包含所有核心库及jni的动态库；
  - staticlibs：openvc核心各个模块的静态库；
  - 3rdparty：第三方库；
    
    官方产物大小共900M，我们从中选择我们需要的部分进行集成即可，或者从静态库中选择业务中所需要的.a自己编译产物进行集成。

3.2 Java + Native集成

如果项目中需要在java层编写OpenCV代码，则需要集成java层及native层。

3.2.1 OpenCV Java类简介

在上述OpenCV java目录中，除了提供了OpenCV核心模块的java类之外，org.opencv.android包内还提供了OpenCVNativeLoader加载类、JavaCameraView、CameraGLSurfaceView相机封装等。

OpenCV java目录中提供的核心模块java类，底层实现都是通过native层实现，java层只引用了native层对象的地址，例如Opencv基础图像类Mat：

public class Mat {
    /**
    * Native object address
    * native层对象地址
    **/
    public final long nativeObj;

    public Mat(long addr) {
        if (addr == 0)
            throw new UnsupportedOperationException("Native object address is NULL");
        nativeObj = addr;
    }

    // javadoc: Mat::Mat()
    public Mat() {
        nativeObj = n_Mat();
    }
    // C++: Mat::Mat()
    private static native long n_Mat();
    
    // javadoc: Mat::dims()
    public int dims() {
        return n_dims(nativeObj);
    }
    // C++: int Mat::dims()
    private static native int n_dims(long nativeObj);
}

可以看到其对应的jni中，都是调用了opencv核心模块的c/c++方法：

#include "opencv2/core.hpp"

#define LOG_TAG "org.opencv.core.Mat"
#include "common.h"

using namespace cv;
/*
 * Class:     org_opencv_core_Mat
 * Method:    n_Mat
 * Signature: (IIILjava/nio/ByteBuffer;J)J
 *
 * Mat::Mat(int rows, int cols, int type, void* data, size_t step)
 */
JNIEXPORT jlong JNICALL Java_org_opencv_core_Mat_n_1Mat__IIILjava_nio_ByteBuffer_2J
  (JNIEnv* env, jclass, jint rows, jint cols, jint type, jobject data, jlong step);

JNIEXPORT jlong JNICALL Java_org_opencv_core_Mat_n_1Mat__IIILjava_nio_ByteBuffer_2J
  (JNIEnv* env, jclass, jint rows, jint cols, jint type, jobject data, jlong step)
{
    static const char method_name[] = "Mat::n_1Mat__IIILjava_nio_ByteBuffer_2J()";
    try {
        LOGD("%s", method_name);
        return (jlong) new Mat(rows, cols, type, (void*)env->GetDirectBufferAddress(data), (size_t)step);
    } catch(const std::exception &e) {
        throwJavaException(env, &e, method_name);
    } catch (...) {
        throwJavaException(env, 0, method_name);
    }

    return 0;
}

3.2.2 集成内容

要在项目中集成OpenCV，首先我们新建一个opencv_sdk模块，将官网产物中的java目录、libcxx_helper目录、native下的lib目录（架构只选择了主流的arm64-v8a、armeabi-v7a），如下所示：

至此，opencv_sdk模块集成完毕，可以在其他模块中通过java对象调用opencv的方法。

3.2.3 简单用法

下面列举一个简单的例子：在java层通过bitmap创建一个OpenCV的Mat，并打印log。首先在build.gradle中加入依赖：

dependencies {
    implementation(project(':opencv_sdk'))
}

然后就可以在app模块使用OpenCV的java类了：

Bitmap bitmap = BitmapFactory.decodeResource(this.getResources(), R.drawable.adventure_time);
// OpenCV提供的加载libopencv_java4.so的封装类
OpenCVNativeLoader openCVNativeLoader = new OpenCVNativeLoader();
openCVNativeLoader.init();
ByteBuffer buffer = ByteBuffer.allocateDirect(bitmap.getByteCount());
bitmap.copyPixelsToBuffer(buffer);
Mat mat = new Mat(bitmap.getHeight(), bitmap.getWidth(), CvType.CV_8UC4, buffer);
Log.d("OpenCV", "mat channels:"+mat.channels()+", cols:"+mat.cols()+", rows:"+mat.rows());

运行结果如下，说明Mat已经创建成功：

D/OpenCV: mat channels:4, cols:3000, rows:4500

3.3 Native集成

如果项目中只需要在native层编写OpenCV代码，则只需要集成native层即可，可以删除上述的java目录以减小包体积。

项目中的opencv_sdk模块中只需要引入OpenCV头文件（在官网产物的OpenCV-android-sdk/sdk/native/jni/include目录下）和OpenCV动态库，如下所示：

3.3.1 新建native模块

首先新建一个sample_native模块来存放jni及native代码，模块结构如下：

3.3.2 配置cmake

在sample_native模块的build.gradle中配置cmake及opencv：

android {
    defaultConfig {
        ndk {
            // 指定编译的abi架构
            abiFilters "armeabi-v7a", "arm64-v8a"
        }
        externalNativeBuild {
            // cmake配置
            cmake {
                cppFlags "-std=c++11 -frtti -fexceptions"
                arguments "-DANDROID_STL=c++_shared"
                arguments "-DANDROID_TOOLCHAIN=clang"
                // 配置opencv头文件目录和动态库目录
                arguments "-DOPENCV_HEADER_DIR=${project.rootProject.project("opencv_sdk").file("include").path}"
                arguments "-DOPENCV_LIBS_DIR=${project.rootProject.project("opencv_sdk").file("native/libs").path}"
            }
        }
    }
    externalNativeBuild {
        cmake {
            // 构建脚本路径
            path "src/main/cpp/CMakeLists.txt"
            version "3.10.2"
        }
    }
}

到此就完成了cmake的基本配置，里面通过arguments配置了opencv头文件和动态库的位置，方面后面代码中引入。

3.3.3 编写jni代码

在sample_native模块中，创建jni接口如下：

public class OpenCVSample {

    private static boolean isLoadSuccess = false;

    static {
        try {
            System.loadLibrary("native-lib");
        } catch (Throwable throwable) {
            throwable.printStackTrace();
        }
    }

    public static native void createMat(Bitmap bitmap);

}

接着创建cpp目录，并创建native-lib.h头文件和native-lib.cpp文件，以及CMakeLists.txt，在CMakeLists.txt中配置opencv依赖如下：

# cmake最低版本号
cmake_minimum_required(VERSION 3.4.1)

# 导入opencv头文件
include_directories(${OPENCV_HEADER_DIR})

# add_library:把一个library添加到工程
add_library(
        native-lib
        SHARED
        native-lib.cpp)

# 添加一个已构建的库，使用IMPORTED
add_library(opencv_java4 SHARED IMPORTED)
set_target_properties(opencv_java4
        PROPERTIES IMPORTED_LOCATION
        "${OPENCV_LIBS_DIR}/${ANDROID_ABI}/libopencv_java4.so")

# 首个参数是target,后面的参数是item；target必须先用add_library()创建过；
target_link_libraries(
        native-lib
        opencv_java4
        jnigraphics
        log )

然后把JNI对应的头文件native-lib.h代码完善如下：

#include 
#include 
#include 

#include 
#include 
#include 

#define TAG    "NativeLibSample"
#define AndroidLOGD(...)  __android_log_print(ANDROID_LOG_DEBUG, TAG, __VA_ARGS__)

extern "C"
JNIEXPORT void JNICALL
Java_com_bc_sample_OpenCVSample_createMat(
        JNIEnv* env,
        jclass thiz, jobject bitmap);

void bitmapToMat(JNIEnv *env, jobject bitmap, cv::Mat &dst);

然后，把JNI对应的native-lib.cpp文件代码完善如下，这里在c++代码中创建了Mat，然后打印出Mat的信息：

#include "native-lib.h"

extern "C"
JNIEXPORT void JNICALL
Java_com_bc_sample_OpenCVSample_createMat(
        JNIEnv* env,
        jclass thiz, jobject bitmap) {
    cv::Mat rgbMat;
    // 把java层的bitmap转换为Mat
    bitmapToMat(env, bitmap, rgbMat);
    // log输出Mat的信息
    AndroidLOGD("native mat channels:%d, cols:%d, rows:%d", rgbMat.channels(), rgbMat.cols, rgbMat.rows);
}

void bitmapToMat(JNIEnv *env, jobject bitmap, cv::Mat &dst) {
    AndroidBitmapInfo info;
    void *pixels = 0;
    try {
        CV_Assert(AndroidBitmap_getInfo(env, bitmap, &info) >= 0);
        CV_Assert(info.format == ANDROID_BITMAP_FORMAT_RGBA_8888 ||
                  info.format == ANDROID_BITMAP_FORMAT_RGB_565);
        CV_Assert(AndroidBitmap_lockPixels(env, bitmap, &pixels) >= 0);
        CV_Assert(pixels);
        dst.create(info.height, info.width, CV_8UC4);
        if (info.format == ANDROID_BITMAP_FORMAT_RGBA_8888) {
            cv::Mat tmp(info.height, info.width, CV_8UC4, pixels);
            tmp.copyTo(dst);
        } else {
            cv::Mat tmp(info.height, info.width, CV_8UC2, pixels);
            cvtColor(tmp, dst, CV_BGR5652RGBA);
        }
        AndroidBitmap_unlockPixels(env, bitmap);
        return;
    }catch (...) {
        AndroidBitmap_unlockPixels(env, bitmap);
        jclass je = env->FindClass("java/lang/Exception");
        env->ThrowNew(je, "Unknown exception in JNI code {nBitmapToMat}");
        return;
    }
}

3.3.4 运行程序

最后，在代码中就可以按如下方式调用刚才创建的jni方法：

Bitmap bitmap = BitmapFactory.decodeResource(this.getResources(), R.drawable.adventure_time);
OpenCVSample.createMat(bitmap);