android ndk之opencv+MediaCodec硬编解码来处理视频动态时间水印

android ndk之opencv+MediaCodec硬编解码来处理视频水印学习笔记

• android视频处理学习笔记。以前android增加时间水印的需求,希望多了解视频编解码,直播,特效这一块,顺便熟悉NDK。

openvc能干什么？为什么要集成openvc？

openvc是一套计算机视觉处理库，直白地讲，就是处理图片和识别图片的。有自己的算法后，可以做一些高级的东西，比如机器视觉，AR，人脸识别等。
android方面自带了bitmap和canvas处理库，底层还可以通过opengl硬件加速，其实渲染处理的速度也很快，甚至很多地方优过opencv。
但是，android针对视频数据，相机采集数据的yuv格式缺少api，或者yuv转rgb转bitmap，这些相互转化的过程也耗时巨大，而我发现opencv是对数据直接进行处理的，一个420sp2bgr的转换耗时极少，图像处理完成以后直达yuv，然后就可以给编码器喂数据了。

MediaCodec和ffmpeg

mediaCodec是系统自带的，原则上有GPU的手机就会有MediaCodec提供出来，使用GPU硬编码，理论上应该比软编码ffmpeg快。

YUV420p，YUV420sp，NV21，YV12
不同的系统的中对应还有别名，简单理解为数据排列的方式不同，详询度娘。

freetype
一款处理字体的C++库，可以加载ttf字体。opencv有默认字体，但是不支持中文，所以需要中文的要集成freetype。用ffmpeg处理中文也需要集成

openvc的集成
opencv支持android版，有java代码，但是集成java代码对我没有意义。首先下载opencv4android，在studio为项目include c++ support，或者在build.gradle添加externalNativeBuild

    defaultConfig {
        applicationId "com.dxtx.codec"
        minSdkVersion 15
        targetSdkVersion 22
        versionCode 1
        versionName "1.0"
        externalNativeBuild {
            cmake {
                cppFlags ""
            }
        }
        ndk {
            abiFilters "armeabi","arm64-v8a"
        }
    }
     externalNativeBuild {
        cmake {
            path 'CMakeLists.txt'
        }
    }

版本太旧的android studio并不支持cmakeLists来编译ndk，我使用的是
classpath ‘com.android.tools.build:gradle:3.0.1’，
gradle版本gradle-4.1-all.zip
NDK版本是r15
NDK版本太旧的话，abi编译不全，不能编译64位。我想很多人并不像我这样嫌科学上网下载大文件麻烦，都使用了最新的吧

CMakeLists.txt中引入opencv的native/jni代码配置如下

cmake_minimum_required(VERSION 3.4.1)
add_library( # Sets the name of the library.
            dxtx
            SHARED
            src/main/jni/bs.cpp
            )
set(OpenCV_DIR C:/Users/user/Downloads/opencv-3.4.2-android-sdk/OpenCV-android-sdk/sdk/native/jni)
find_package(OpenCV REQUIRED)
target_include_directories(
                            dxtx
                            PRIVATE
                            C:/Users/user/Downloads/opencv-3.4.2-android-sdk/OpenCV-android-sdk/sdk/native/jni/include
                            )

find_library(
              Log-lib
              Log )
target_link_libraries(
                        dxtx
                       ${OpenCV_LIBS}
                       ${Log-lib} )

opencv配置的是绝对路径，放在电脑里，而没有放在项目下，毕竟opencv只是编译一下，而且整个文件夹太大。

配置好以后build一下，就可以在jni里面使用opencv了。这里示范为yuv420sp的数据添加文字的关键代码
先建一个java类

public class Utils {
    static {
        System.loadLibrary("dxtx");
    }
public static native void drawText(byte[] data, int w, int h, String text);
}

drawText方法报红，是C代码没有实现，可以alt+enter快捷键自动补全实现。
bs.cpp代码

#include 
#include 
#include 
#include 
#include 
#include 


extern "C"
JNIEXPORT void JNICALL
Java_com_dxtx_test_Utils_drawText(JNIEnv *env, jclass type, jbyteArray data_, jint w,
                                  jint h, jstring text_) {
    jbyte *data = env->GetByteArrayElements(data_, NULL);
    const char *text = env->GetStringUTFChars(text_，0);
    Mat dst;
    Mat yuv(h * 3 / 2, w, CV_8UC1, (uchar *) data);

    //转换为可以处理的bgr格式
    cvtColor(yuv, dst, CV_YUV420sp2BGR);

//    printMat(dst);
    //旋转图像
    rotate(dst, dst, ROTATE_90_CLOCKWISE);
    w = dst.cols;
    h = dst.rows;

    int baseline;
    //测量文字的宽高
    Size size = getTextSize(text, CV_FONT_HERSHEY_COMPLEX, 0.6, 1, &baseline);
    CvRect rect = cvRect(0, 0, size.width + 10, size.height * 1.5);

    //灰色背景
    rectangle(dst,rect,Scalar(200,200,200),-1,8,0);
    //文字
    putText(dst, text, Point(0, size.height), FONT_HERSHEY_SIMPLEX,0.6, Scalar(255, 255, 255),1, 8, 0);


    //转换为YV12
    cvtColor(dst, dst, CV_BGR2YUV_YV12);
//    printMat(dst);

  //因为YV12 和NV21格式不同,需要重组UV分量
   jbyte *out = new jbyte[w * h / 2];
   int ulen = w * h / 4;
   for (int i = 0; i < ulen; i += 1) {
       //从YYYYYYYY UUVV 到YYYYYYYY VUVU
       out[i * 2 + 1] = dst.at<uchar>(w * h + ulen + i);
       out[i * 2] = dst.at<uchar>(w * h + i);
   }

   //返回到原来的数据
     env->SetByteArrayRegion(data_, 0, w * h, (const jbyte *) dst.data);
     env->SetByteArrayRegion(data_, w * h, w * h / 2, out);


}

这段代码的方法从YUV，渲染文字到YUV一气呵成了，节省了很多时间，在arm64-v8a架构手机CPU下，耗时只要30ms左右了
然后是用原来mediaCodec的方案进行编码，这个步骤可以跟之前差别不大。

后来集成了freetype，拥有了加中文水印的能力，工序多了一个，代码耗时也多了一点，但就增加时间水印来说freetype没啥必要，时间里面不含中文。

以后尝试一下直接从相机捕获数据，缓冲处理再直接录制视频的方案可行性。

demo地址