android camera nv21转I420，预览旋转

众所周知android camera据绝大多数情况都是使用nv21格式的数据，有时需要将yuv转化成i420格式的数据方便我们处理，使用google开源的libyuv效率要比常规C算法高很多。

---

编译动态库

使用libyuv需要提前将源码编译成android需要的动态库，编译的方法比较简单，如果没有提前编译好，可以参考下面这个文章。

• libyuv编译动态库

创建native module

为了更好的维护，将yuv相关功能封装在一个module中，对外暴露java api即可，当然直接添加到你的app nodule中也是可以的。

不熟悉native工程的，可以用android studio创建一个native C++模板工程，对比一下默认的配置。

在src/main下创建cpp目录，并在目录下创建CMakeLists.txt文件。

cpp目录

其中CMakeLists.txt是配置编译的脚本文件。

创建CMakeLists.txt

cmake_minimum_required(VERSION 3.10.2)

enable_language(ASM)

#设置变量值并赋值
set(-DCMAKE_C_FLAGS_RELEASE "${CMAKE_C_FLAGS_RELEASE} -Wall -s -Wdeprecated-declarations")
set(-DCMAKE_CXX_FLAGS_RELEASE "${CMAKE_CXX_FLAGS_RELEASE} -Wall -s -Wdeprecated-declarations")
set(PATH_TO_MEDIACORE ${CMAKE_SOURCE_DIR})

#源文件文件夹，根据你c++项目结构修改
include_directories(${CMAKE_SOURCE_DIR})
include_directories(${PATH_TO_MEDIACORE}/)
include_directories(${PATH_TO_MEDIACORE}/util/)

#定义libyuv头文件位置，从当前位置开始，具体位置根据你自己的放置
set(YUV_HEADER ${CMAKE_CURRENT_LIST_DIR}/../../../../extra/libyuv/include)
#包含上面定义libyuv头文件
include_directories(${YUV_HEADER})

#定义需要参与编译的源文件，根据实际情况修改
file(GLOB FILES "${PATH_TO_MEDIACORE}/*.cc")
file(GLOB FILES_C "${PATH_TO_MEDIACORE}/*.c")
file(GLOB FILES_UTIL "${PATH_TO_MEDIACORE}/util/*.cc")

#将源文件生产链接文件
add_library(
        #生成的名字
        fc_plugin
        #库的类型为动态库
        SHARED
        #下面描述的都是分别有哪些文件参与编译
        fc_plugin_jni.cc
        ${FILES}
        ${FILES_C}
        ${FILES_UTIL})

#定义yuv动态库的位置
set(YUV_LIB ${CMAKE_CURRENT_LIST_DIR}/../../../../extra/libyuv/libs/${ANDROID_ABI}/libyuv_fc.so)
#定义一个动态库yuv
add_library(yuv SHARED IMPORTED)
#将上面定定义的yuv库和它的位置进行绑定，yuv库定义完成
set_target_properties(yuv PROPERTIES IMPORTED_LOCATION ${YUV_LIB})

#将目标文件与库文件进行链接
target_link_libraries(
        #目标文件，这个是我们自己生成的连接文件
        fc_plugin
        #上面定义的第三方库
        yuv)

YUV_HEADER是libyuv头文件的位置，头文件在下载的libyuv源码中的include ，YUV_LIB是我们前面编译的libyuv动态库，本文中放在工程根目录下的extra中，可以根据情况修改。

路径参考

修改.gradle

defaultConfig节点下

externalNativeBuild {
            cmake {
                arguments "-DANDROID_ARM_NEON=TRUE", "-DANDROID_TOOLCHAIN=clang", "-DANDROID_STL=c++_shared"
                cppFlags "-std=c++11"
                abiFilters "armeabi-v7a", "arm64-v8a"
            }
        }

android节点下

externalNativeBuild {
        cmake {
            version "3.10.2"
            path "src/main/cpp/CMakeLists.txt"
        }
    }

工程配置基本配置完成，上面有些源文件没有可以暂时屏蔽掉。

实现功能

在cpp下创建util包，并创建yuv_util.h

//
// Created by ingxin on 12/27/20.
//

#ifndef FC_YUV_UTIL_H
#define FC_YUV_UTIL_H

#include "libyuv.h"
#include "stdint.h"

/**
 * 将nv21(yuv420sp)类型的数据转化成yuv210类型数据
 * @param src_nv21_data nv21数据
 * @param width 图像的宽
 * @param height 图像的高
 * @param src_i420_data 转化后的数据
 */
static inline void
nv21ToI420(uint8_t *src_nv21_data, int width, int height, uint8_t *dst_i420_data) {
    int src_y_size = width * height;
    int src_u_size = (width >> 1) * (height >> 1);

    uint8_t *src_nv21_y_data = src_nv21_data;
    uint8_t *src_nv21_vu_data = src_nv21_data + src_y_size;

    uint8_t *src_i420_y_data = dst_i420_data;
    uint8_t *src_i420_u_data = dst_i420_data + src_y_size;
    uint8_t *src_i420_v_data = dst_i420_data + src_y_size + src_u_size;

    libyuv::NV21ToI420(src_nv21_y_data, width,
                       src_nv21_vu_data, width,
                       src_i420_y_data, width,
                       src_i420_u_data, width >> 1,
                       src_i420_v_data, width >> 1,
                       width, height);

}

/**
 * 旋转yuv420数据.
 * @param src_i420_data yuv420原始数据
 * @param width 宽度
 * @param height 高度
 * @param dst_i420_data 转化后的数据
 * @param degree 旋转角度
 */
static inline void
rotateI420(uint8_t *src_i420_data, int width, int height, uint8_t *dst_i420_data, int degree) {
    int src_i420_y_size = width * height;
    int src_i420_u_size = (width >> 1) * (height >> 1);

    uint8_t *src_i420_y_data = src_i420_data;
    uint8_t *src_i420_u_data = src_i420_data + src_i420_y_size;
    uint8_t *src_i420_v_data = src_i420_data + src_i420_y_size + src_i420_u_size;

    uint8_t *dst_i420_y_data = dst_i420_data;
    uint8_t *dst_i420_u_data = dst_i420_data + src_i420_y_size;
    uint8_t *dst_i420_v_data = dst_i420_data + src_i420_y_size + src_i420_u_size;

    //要注意这里的width和height在旋转之后是相反的
    if (degree == libyuv::kRotate90 || degree == libyuv::kRotate270) {
        libyuv::I420Rotate(src_i420_y_data, width,
                           src_i420_u_data, width >> 1,
                           src_i420_v_data, width >> 1,
                           dst_i420_y_data, height,
                           dst_i420_u_data, height >> 1,
                           dst_i420_v_data, height >> 1,
                           width, height,
                           (libyuv::RotationMode) degree);
    }
}

/**
 * 缩放I420
 * @param src_i420_data
 * @param width
 * @param height
 * @param dst_i420_data
 * @param dst_width
 * @param dst_height
 * @param mode
 */
static inline void
scaleI420(uint8_t *src_i420_data, int width, int height, uint8_t *dst_i420_data, int dst_width,
          int dst_height, int mode) {

    int src_i420_y_size = width * height;
    int src_i420_u_size = (width >> 1) * (height >> 1);
    uint8_t *src_i420_y_data = src_i420_data;
    uint8_t *src_i420_u_data = src_i420_data + src_i420_y_size;
    uint8_t *src_i420_v_data = src_i420_data + src_i420_y_size + src_i420_u_size;

    int dst_i420_y_size = dst_width * dst_height;
    int dst_i420_u_size = (dst_width >> 1) * (dst_height >> 1);
    uint8_t *dst_i420_y_data = dst_i420_data;
    uint8_t *dst_i420_u_data = dst_i420_data + dst_i420_y_size;
    uint8_t *dst_i420_v_data = dst_i420_data + dst_i420_y_size + dst_i420_u_size;

    libyuv::I420Scale(src_i420_y_data, width,
                      src_i420_u_data, width >> 1,
                      src_i420_v_data, width >> 1,
                      width, height,
                      dst_i420_y_data, dst_width,
                      dst_i420_u_data, dst_width >> 1,
                      dst_i420_v_data, dst_width >> 1,
                      dst_width, dst_height,
                      (libyuv::FilterMode) mode);
}

#endif

java接口

1. 暴露java api，创建YUVUtil.java。

/**
 * java层接口.
 *
 * @author ingxin
 * @date 2021/1/25
 */
public class YUVUtil {

    /**
     * 将 NV21 转 I420
     *
     * @param src    原始数据
     * @param dst    转化后的数据
     * @param width  宽
     * @param height 高
     */
    public native void convertNV21ToI420(byte[] src, byte[] dst, int width, int height);

    /**
     * 旋转I420数据
     *
     * @param input    输入的I420数据
     * @param output   输入的I420数据
     * @param width    宽
     * @param height   高
     * @param rotation 旋转的角度 0，90，180和270
     */
    public native void rotateI420(byte[] input, byte[] output, int width, int height, int rotation);

    /**
     * 缩放I420数据
     *
     * @param src       原始数据
     * @param srcWidth  原始宽
     * @param srcHeight 原始高
     * @param dst       输出数据
     * @param dstWidth  输出宽度
     * @param dstHeight 输出高度
     */
    public native void scaleI420(byte[] src, int srcWidth, int srcHeight, byte[] dst, int dstWidth, int dstHeight);
}

2. 在cpp目录下创建jni文件

//
// Created by ingxin on 2020/12/21.
//

#include 
#include "yuv_util.h"

#ifdef __cplusplus
extern "C" {
#endif

#ifndef NELEM
#define NELEM(x) ((int) (sizeof(x) / sizeof((x)[0])))
#endif

//此处为第一步中java api文件包名路径
#define YUV_UTIL "com/xxx/xxx/xxxx/xxxx/YUVUtil"

static void Android_JNI_NV21_TO_I420(JNIEnv *env,
                                     jobject object,
                                     jbyteArray src_nv21_data,
                                     jbyteArray dst_i420_data,
                                     jint width,
                                     jint height) {

    jbyte *srcData = env->GetByteArrayElements(src_nv21_data, NULL);
    jbyte *dstData = env->GetByteArrayElements(dst_i420_data, NULL);
    //420sp转化成420
    nv21ToI420(reinterpret_cast(srcData),
               width,
               height,
               reinterpret_cast(dstData));
    // 释放资源
    env->ReleaseByteArrayElements(src_nv21_data, srcData, 0);
    env->ReleaseByteArrayElements(dst_i420_data, dstData, 0);
}

static void Android_JNI_rotate_I420(JNIEnv *env,
                                    jobject object,
                                    jbyteArray input,
                                    jbyteArray output,
                                    jint width,
                                    jint height,
                                    jint degree) {

    jbyte *srcData = env->GetByteArrayElements(input, NULL);
    jbyte *dstData = env->GetByteArrayElements(output, NULL);

    rotateI420(reinterpret_cast(srcData),
               width,
               height,
               reinterpret_cast(dstData),
               degree);
    // 释放资源
    env->ReleaseByteArrayElements(input, srcData, 0);
    env->ReleaseByteArrayElements(output, dstData, 0);
}

static void Android_JNI_scale_I420(JNIEnv *env,
                                   jobject object,
                                   jbyteArray src,
                                   jint src_width,
                                   jint src_height,
                                   jbyteArray dst,
                                   jint dst_width,
                                   jint dst_height) {

    jbyte *srcData = env->GetByteArrayElements(src, NULL);
    jbyte *dstData = env->GetByteArrayElements(dst, NULL);

    scaleI420(reinterpret_cast(srcData),
              src_width,
              src_height,
              reinterpret_cast(dstData),
              dst_width,
              dst_height,
              0);
    // 释放资源
    env->ReleaseByteArrayElements(src, srcData, 0);
    env->ReleaseByteArrayElements(dst, dstData, 0);
}

static JNINativeMethod fcYUVUtilMethods[] = {
        {"convertNV21ToI420", "([B[BII)V",   (void **) Android_JNI_NV21_TO_I420},
        {"rotateI420",        "([B[BIII)V",  (void **) Android_JNI_rotate_I420},
        {"scaleI420",         "([BII[BII)V", (void **) Android_JNI_scale_I420}
};

JNIEXPORT jint JNICALL JNI_OnLoad(JavaVM *vm, void *reserved) {
    JNIEnv *env = NULL;
    if ((vm)->GetEnv((void **) &env, JNI_VERSION_1_6) != JNI_OK) {
        return JNI_ERR;
    }

    jclass yuvUtil = env->FindClass(YUV_UTIL);
    env->RegisterNatives(yuvUtil, fcYUVUtilMethods, NELEM(fcYUVUtilMethods));
    env->DeleteLocalRef(yuvUtil);

    return JNI_VERSION_1_6;
}

JNIEXPORT void JNI_OnUnload(JavaVM *vm, void *reserved) {
    //卸载so
}

#ifdef __cplusplus
}
#endif

到这里工作已经完成，按照这个步骤慢慢调试修改总会成功的。