一. 资料准备
Android Studio 3.6
OpenCv Sdk下载:https://opencv.org/releases/#
选 OpenCV – 4.3.0 android下载,比较慢,可以考虑使用迅雷下载
下载解压后有samples和sdk两个目录,主要关注sdk目录:
二.As使用opencv sdk的三种方式
2.1 在Java层使用 OpenCv Java API
-
新建普通的android app项目:
在这里插入图片描述
看到已经有libs文件夹,但main中比ndk项目少了cpp目录,且无cmakelist文件,先用着吧,后面看看是否可以手动添加.
-
file->new->import module,选择下载解压后的opencv sdk的如下目录,导入opencv的java module,实际是opencv自己实现的调用JNI接口的java层:
在这里插入图片描述 -
修改java_opencv的模块属性:如下
在这里插入图片描述 -
打开openCvDemo的 project sturcture 设置库依赖,当然也可以在app的build gradle文件中dependencies {}中添加 " implementation project(path: ':java_opencv')" 这一行
在这里插入图片描述 -
将OpenCV-android-sdk/sdk/native/libs下的arm64-v8a 目录拷贝到Android studio OpenCvDemo的libs文件夹中,在app的build.gradle中的android节点下添加
jniLib.srcDir,该变量指明了JNI所需要的动态库目录,如下:
在这里插入图片描述
注意需要将libc++shared.so拷贝到jnilib目录下,原因如图所示,可以从其他项目中拷贝过来,也可以从ndk的toolchain中寻找拷贝.
(
或者也可以这样处理:
新建如上图中的cpp目录,或自定义目录,写个空类似ndk项目初始化时的cpp文件,注意,如果是一开始建的是非ndk项目,建完自定义jni文件之后需要手动制定jni.srcDirs
否则自己写的cpp无法编译成动态库打包到apk中,具体cpp可以参考ndk项目默认初始时的native-lib文件.在android节点里的defaultConfig节点里的externalNativeBuild节点里添加" arguments "-DANDROID_STL=c++_shared" "
这样,在编译native-lib时便会自动拷贝libc++_static.so打包到apk中.如下图
这里有个小坑,从网上拷贝了一个
sourceSets.main{
XXXX
}
来写,结果死活没编到制定的jni.srcDirs目录下的代码,
改成
sourceSets {
main{
XXXX
}
}
醉了
)
- 开始写代码
activity:
package com.chengang.opencvdemo;
import androidx.appcompat.app.AppCompatActivity;
import android.graphics.Bitmap;
import android.graphics.BitmapFactory;
import android.os.Bundle;
import android.util.Log;
import android.view.Gravity;
import android.view.View;
import android.widget.ImageView;
import android.widget.TextView;
import android.widget.Toast;
import org.opencv.android.BaseLoaderCallback;
import org.opencv.android.LoaderCallbackInterface;
import org.opencv.android.OpenCVLoader;
import org.opencv.android.Utils;
import org.opencv.core.Mat;
import org.opencv.imgproc.Imgproc;
public class MainActivity extends AppCompatActivity implements View.OnClickListener{
String TAG="MainActivity";
ImageView img_after;
TextView text_togray;
Bitmap srcBitmap;
Bitmap grayBitmap;
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
img_after=(ImageView)findViewById(R.id.imageView_after);
text_togray=(TextView)findViewById(R.id.textView_togray);
text_togray.setOnClickListener(this);
System.loadLibrary("opencv_java4");
}
@Override
public void onClick(View v) {
switch(v.getId())
{
case R.id.textView_togray:
procSrc2Gray();
img_after.setImageBitmap(grayBitmap) ;
break;
}
}
public void procSrc2Gray(){
Mat rgbMat = new Mat();
Mat grayMat = new Mat();
srcBitmap = BitmapFactory.decodeResource(getResources(), R.drawable.iu);
grayBitmap = Bitmap.createBitmap(srcBitmap.getWidth(), srcBitmap.getHeight(), Bitmap.Config.RGB_565);
Utils.bitmapToMat(srcBitmap, rgbMat);//convert original bitmap to Mat, R G B.
Imgproc.cvtColor(rgbMat, grayMat, Imgproc.COLOR_RGB2GRAY);//rgbMat to gray grayMat
Utils.matToBitmap(grayMat, grayBitmap); //convert mat to bitmap
Log.i(TAG, "procSrc2Gray sucess...");
}
@Override
public void onResume()
{
super.onResume();
}
}
layout
再放一张IU的图片到res/drawable/下
7.ok编译运行可执行.
2.2 自定义JNI使用Native API实现
上面这种方式需要导入opencv的java module,相当于导入了opencv实现的调用native接口的jar包,有时候我们不需要那么多接口,也许只需要一个功能,导入这么多有点浪费空间啊,
因此可以避免使用java module 直接使用opencv的native api去使用.尝试一下,
看activity调用的opencv 方法:
/home/chengang/AndroidStudioProjects/OpenCvDemo/app/src/main/java/com/chengang/opencvdemo/MainActivity.java
public void procSrc2Gray(){
Mat rgbMat = new Mat();
Mat grayMat = new Mat();
srcBitmap = BitmapFactory.decodeResource(getResources(), R.drawable.iu);
grayBitmap = Bitmap.createBitmap(srcBitmap.getWidth(), srcBitmap.getHeight(), Bitmap.Config.RGB_565);
Utils.bitmapToMat(srcBitmap, rgbMat);//convert original bitmap to Mat, R G B.
Imgproc.cvtColor(rgbMat, grayMat, Imgproc.COLOR_RGB2GRAY);//rgbMat to gray grayMat
Utils.matToBitmap(grayMat, grayBitmap); //convert mat to bitmap
Log.i(TAG, "procSrc2Gray sucess...");
}
主要是该方法实现
Imgproc.cvtColor(rgbMat, grayMat, Imgproc.COLOR_RGB2GRAY);//rgbMat to gray grayMat
在java_opencv module中搜cvColor
/home/chengang/AndroidStudioProjects/OpenCvDemo/java_opencv/src/main/java/org/opencv/imgproc/Imgproc.java
/**
* Converts an image from one color space to another.
....
*
* SEE: REF: imgproc_color_conversions
*/
public static void cvtColor(Mat src, Mat dst, int code) {
cvtColor_1(src.nativeObj, dst.nativeObj, code);
}
在sdk中搜头文件:
-
头文件准备
在/home/chengang/AndroidStudioProjects/OpenCvDemo/app/src/main/cpp/下新建myIncludes文件夹将OpenCV-android-sdk/sdk/native/jni/include/下的opencv2目录拷贝到myIncludes下,目录在cmakelist.txt中要指明好,cpp下的CmakeList.txt修改如下图::
在这里插入图片描述
在这里插入图片描述
app module的build.gradle修改:
在这里插入图片描述 - 修改代码
好,开始实现,基于上面已完成的Maincativity修改如下:
/home/chengang/AndroidStudioProjects/OpenCvDemo/app/src/main/java/com/chengang/opencvdemo/MainActivity.java
// 1.添加如下JNI函数定义,之后IDE会提示实现该定义,则会在native-lib.cpp中去实现,后面贴上
private native void cvtColorFromJNI2(Bitmap srcBitmap,Bitmap dstBitmap);
//改写procSrc2Gray为procSrc2Gray2
public void procSrc2Gray2(){
srcBitmap = BitmapFactory.decodeResource(getResources(), R.drawable.iu);
grayBitmap = Bitmap.createBitmap(srcBitmap.getWidth(), srcBitmap.getHeight(), Bitmap.Config.RGB_565);
cvtColorFromJNI2(srcBitmap,grayBitmap);
Log.i(TAG, "procSrc2Gray sucess...");
}
//3.调用的地方改为使用procSrc2Gray2
@Override
public void onClick(View v) {
switch(v.getId())
{
case R.id.textView_togray:
//procSrc2Gray();
procSrc2Gray2();
img_after.setImageBitmap(grayBitmap) ;
break;
}
}
/home/chengang/AndroidStudioProjects/OpenCvDemo/app/src/main/cpp/native-lib.cpp实现如下:
主要完成:
a. native实现Bitmap2mat和mat2bitmap的实现,基于opencv基本是对mat数据结构处理的要求.
b.直接调用opencv的cv::cvtColor()函数实现置灰操作.
#include
#include
#include
#include
#include
#include
#include
using namespace cv;
using namespace std;
void BitmapToMat2(JNIEnv *env, jobject& bitmap, Mat& mat, jboolean needUnPremultiplyAlpha) {
AndroidBitmapInfo info;
void *pixels = 0;
Mat &dst = mat;
try {
//LOGD("nBitmapToMat");
CV_Assert(AndroidBitmap_getInfo(env, bitmap, &info) >= 0);
CV_Assert(info.format == ANDROID_BITMAP_FORMAT_RGBA_8888 ||
info.format == ANDROID_BITMAP_FORMAT_RGB_565);
CV_Assert(AndroidBitmap_lockPixels(env, bitmap, &pixels) >= 0);
CV_Assert(pixels);
dst.create(info.height, info.width, CV_8UC4);
if (info.format == ANDROID_BITMAP_FORMAT_RGBA_8888) {
// LOGD("nBitmapToMat: RGBA_8888 -> CV_8UC4");
Mat tmp(info.height, info.width, CV_8UC4, pixels);
if (needUnPremultiplyAlpha) cvtColor(tmp, dst, COLOR_mRGBA2RGBA);
else tmp.copyTo(dst);
} else {
// info.format == ANDROID_BITMAP_FORMAT_RGB_565
// LOGD("nBitmapToMat: RGB_565 -> CV_8UC4");
Mat tmp(info.height, info.width, CV_8UC2, pixels);
cvtColor(tmp, dst, COLOR_BGR5652RGBA);
}
AndroidBitmap_unlockPixels(env, bitmap);
return;
} catch (const cv::Exception &e) {
AndroidBitmap_unlockPixels(env, bitmap);
// LOGE("nBitmapToMat catched cv::Exception: %s", e.what());
jclass je = env->FindClass("org/opencv/core/CvException");
if (!je) je = env->FindClass("java/lang/Exception");
env->ThrowNew(je, e.what());
return;
} catch (...) {
AndroidBitmap_unlockPixels(env, bitmap);
//LOGE("nBitmapToMat catched unknown exception (...)");
jclass je = env->FindClass("java/lang/Exception");
env->ThrowNew(je, "Unknown exception in JNI code {nBitmapToMat}");
return;
}
}
void BitmapToMat(JNIEnv *env, jobject& bitmap, Mat& mat) {
BitmapToMat2(env, bitmap, mat, false);
}
void MatToBitmap2
(JNIEnv *env, Mat& mat, jobject& bitmap, jboolean needPremultiplyAlpha) {
AndroidBitmapInfo info;
void *pixels = 0;
Mat &src = mat;
try {
// LOGD("nMatToBitmap");
CV_Assert(AndroidBitmap_getInfo(env, bitmap, &info) >= 0);
CV_Assert(info.format == ANDROID_BITMAP_FORMAT_RGBA_8888 ||
info.format == ANDROID_BITMAP_FORMAT_RGB_565);
CV_Assert(src.dims == 2 && info.height == (uint32_t) src.rows &&
info.width == (uint32_t) src.cols);
CV_Assert(src.type() == CV_8UC1 || src.type() == CV_8UC3 || src.type() == CV_8UC4);
CV_Assert(AndroidBitmap_lockPixels(env, bitmap, &pixels) >= 0);
CV_Assert(pixels);
if (info.format == ANDROID_BITMAP_FORMAT_RGBA_8888) {
Mat tmp(info.height, info.width, CV_8UC4, pixels);
if (src.type() == CV_8UC1) {
// LOGD("nMatToBitmap: CV_8UC1 -> RGBA_8888");
cvtColor(src, tmp, COLOR_GRAY2RGBA);
} else if (src.type() == CV_8UC3) {
// LOGD("nMatToBitmap: CV_8UC3 -> RGBA_8888");
cvtColor(src, tmp, COLOR_RGB2RGBA);
} else if (src.type() == CV_8UC4) {
// LOGD("nMatToBitmap: CV_8UC4 -> RGBA_8888");
if (needPremultiplyAlpha)
cvtColor(src, tmp, COLOR_RGBA2mRGBA);
else
src.copyTo(tmp);
}
} else {
// info.format == ANDROID_BITMAP_FORMAT_RGB_565
Mat tmp(info.height, info.width, CV_8UC2, pixels);
if (src.type() == CV_8UC1) {
// LOGD("nMatToBitmap: CV_8UC1 -> RGB_565");
cvtColor(src, tmp, COLOR_GRAY2BGR565);
} else if (src.type() == CV_8UC3) {
// LOGD("nMatToBitmap: CV_8UC3 -> RGB_565");
cvtColor(src, tmp, COLOR_RGB2BGR565);
} else if (src.type() == CV_8UC4) {
//LOGD("nMatToBitmap: CV_8UC4 -> RGB_565");
cvtColor(src, tmp, COLOR_RGBA2BGR565);
}
}
AndroidBitmap_unlockPixels(env, bitmap);
return;
} catch (const cv::Exception &e) {
AndroidBitmap_unlockPixels(env, bitmap);
//LOGE("nMatToBitmap catched cv::Exception: %s", e.what());
jclass je = env->FindClass("org/opencv/core/CvException");
if (!je) je = env->FindClass("java/lang/Exception");
env->ThrowNew(je, e.what());
return;
} catch (...) {
AndroidBitmap_unlockPixels(env, bitmap);
//LOGE("nMatToBitmap catched unknown exception (...)");
jclass je = env->FindClass("java/lang/Exception");
env->ThrowNew(je, "Unknown exception in JNI code {nMatToBitmap}");
return;
}
}
void MatToBitmap(JNIEnv *env, Mat& mat, jobject& bitmap) {
MatToBitmap2(env, mat, bitmap, false);
}
extern "C"
JNIEXPORT void JNICALL
Java_com_chengang_opencvdemo_MainActivity_cvtColorFromJNI2(JNIEnv *env, jobject thiz,
jobject src_bitmap, jobject dst_bitmap) {
// TODO: implement cvtColorFromJNI2()
Mat srcImageMat;
BitmapToMat(env,src_bitmap,srcImageMat);
Mat dstImageMat;
cv::cvtColor(srcImageMat,dstImageMat,COLOR_RGB2GRAY);
MatToBitmap(env,dstImageMat,dst_bitmap);
}
这样,是没有使用java的api的,我们自定义了一个JNI函数来自己实现调用opencv的native接口函数处理,
这时,将app module的build.gradle中的dependencies节点中的"implementation project(path: ':java_opencv')"给删掉或注释掉,去掉依赖java module,
再在MainActivity中关于java_opencv module的使用地方给删掉或注释掉,
即不再使用opencv提供的java module api.
- 可以编译成功,安装运行成功.
2.3 使用openCv静态库编译动态库实现
opencv sdk中有提供静态库及所依赖的3rdparty的静态库,可以利用这些静态库链接实现功能的动态库native-lib.so
基于上一步的代码这么干:
1.把OpenCV-android-sdk/sdk/native/3rdparty/libs 下需要的arm64-v8a 架构的文件夹拷贝到app目录下的libs文件夹下
2.把OpenCV-android-sdk/sdk/native/下的staticlibs文件夹拷贝到app目录下的libs文件夹下.当然,可以只保留我们需要的arm64-v8a 架构,其他架构的可以删掉(基于手上有的机型abi架构是arm64的,只需要arm64的即可).
3.在cpp目录下cmakelist.txt文件进行配置如下图:
4.修改代码,把libs下的opencv的动态库libopencv_java4.so删掉,不需要啦,opencv的功能已经通过静态链接从opencv的静态库中链接到了
我们自己的native-lib.so中了,最终只需一个native-lib.so动态库.
activty:
/home/chengang/AndroidStudioProjects/OpenCvDemo/app/src/main/java/com/chengang/opencvdemo/MainActivity.java
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
img_after=(ImageView)findViewById(R.id.imageView_after);
text_togray=(TextView)findViewById(R.id.textView_togray);
text_togray.setOnClickListener(this);
//System.loadLibrary("opencv_java4");//记得不需要load opencv_java4了
System.loadLibrary("native-lib"); //记得需要load 包含opencv功能的native-lib 动态库
}
- 运行吧,安装成功,运行成功.
三.对比Apk size
第一种使用Java Module实现Java API调用OpenCv 动态库Native API方式:
apk size:20.7MB
第二种使用自定义JNI So 调用 OpenCv 动态库Native API方:
apk size:20.4MB
第三种使用opencv 静态库链接JNI 动态库native-lib.so方式:
apk size:5.6MB
看出前两种相差不大,都包含一个完整的opencv动态库,而第三种只有一个libnative-lib.so,而libnative-lib.so包含的是静态链接来的cpp中仅仅使用到的opencv的功能模块,我们这个demo仅仅用了下置灰功能,
看样子还是第三种比较实在,在size上完胜前两种.