前言
在高通平台, 如果要集成第三方视频或图像处理算法, 通常会在HAL层进行集成, 当然App层一般也可以通过JNI或者OpenGL来实现, 但效率一般没有直接在HAL层集成高, 原因主要由两点:
HAL层能直接获取YUV数据(高通平台App一般可通过设置pictureFormat为NV21来返回YUV数据, MTK平台大多数不支持App层获取YUV数据), 且算法库多数是用C/C++写的, 可直接在HAL层集成, 无需JNI, 集成更方便.
HAL层集成算法, 算法处理完后, 可以走原始的硬件JPEG编码流程, 效率更高.
本文主要说明在高通平台Camera HAL1中如何获取相关YUV数据以及一些注意事项.
源码位置
高通Camera HAL代码位置:
hardware/qcom/camera/QCamera2/
此目录下的HAL为HAL1代码, HAL3目录为HAL3代码(废话), 我们这篇文章只关注HAL1代码
HAL目录下有几个文件需要注意一下:
-
QCamera2HWI.cpp高通实现Google在Android中定义的CameraHardwareInterface.h代码, App调用的Camera接口最终都会通过这里调到mm-camera最后调到kernel,QCamera2HWI是类QCamera2HardwareInterface的缩写. -
QCameraHWICallbacks.cpp这个文件主要是类QCamera2HardwareInterface中定义的一些关于数据回调的静态方法, 重新命名方便对方法和功能进行区分, 让我们知道是相关回调方法, 我们截取YUV数据主要在此文件中. -
QCameraParameters.cpp和Camera参数设置相关的类, 获取和设置参数会用到此类. -
QCameraPostProc.cpp图像后处理的类,QCameraPostProcessor的缩写, 主要对YUV进行一些后处理,编码为JPEG等等, 也可以在此类中获取拍照的YUV数据.
截取YUV数据相关函数
由于高通平台提供的一下特性, 如ZSL(零延时拍照), no-display-mode(不设置预览surface也能拍照), 会导致YUV数据获取位置稍有不同, 主要分为以下情形:
- 非ZSL模式下拍照, 获取拍照YUV数据
此类型拍照, 获取YUV数据主要在如下两个函数中:
QCameraHWICallbacks.cppQCamera2HardwareInterface::capture_channel_cb_routine(...)
QCameraPostProc.cppQCameraPostProcessor::processPPData(...) - ZSL模式下拍照, 获取YUV数据
和非ZSL稍有不同:
QCameraHWICallbacks.cppQCamera2HardwareInterface::zsl_channel_cb(...)
QCameraPostProc.cppQCameraPostProcessor::processPPData(...)
注: 如果只是获取拍照YUV, 可以在QCameraPostProcessor::processPPData(...)中获取YUV数据, 这样就不用管是ZSL或者非ZSL, 这两种模式最终都会调到这里.
- 正常流程下获取预览YUV
QCameraHWICallbacks.cppQCamera2HardwareInterface::preview_stream_cb_routine(...)
根据平台芯片不同, 有的可能在
QCameraHWICallbacks.cppQCamera2HardwareInterface::synchronous_stream_cb_routine(...) - no-display-mode模式下获取预览YUV
QCameraHWICallbacks.cppQCamera2HardwareInterface::nodisplay_preview_stream_cb_routine(...)
说明: 由于一些高通平台差异, 预览走的流程稍有差异, 在实际项目中, 请在相关函数中加log确认下当前走的流程. no-display-mode是指App打开Camera后, 在startPreview之前设置参数Parameters.set("no-display-mode", "1");, 然后可以不设置预览surface进行预览拍照(主要用于双摄项目中, 副摄设置no-display-mode, 对用户不可见).
- 获取录像时YUV数据
QCameraHWICallbacks.cppQCamera2HardwareInterface::video_stream_cb_routine(...) - 获取录像时拍照的YUV数据
QCameraHWICallbacks.cppQCamera2HardwareInterface::snapshot_channel_cb_routine(...)
获取YUV图像信息和Buffer地址
知道在何处截取YUV数据后, 还需知道如何从高通定义的相关结构体中获取和YUV相关的信息和实际buffer地址.上面所说的函数中, 都有一个类型为mm_camera_super_buf_t*的结构体指针, 我们需要通过如下步骤来找到拍照实际YUV数据的buffer地址
- 获取
QCameraChannel, 根据获取的数据类型不同, Channel也不同主要分为几种:QCAMERA_CH_TYPE_VIDEO(video),QCAMERA_CH_TYPE_SNAPSHOT(video snap),QCAMERA_CH_TYPE_ZSL(zsl),QCAMERA_CH_TYPE_CAPTURE(capture)
示例(zsl_channel_cb()中获取channel):
QCamera2HardwareInterface *pme = (QCamera2HardwareInterface *)userdata;
QCameraChannel *pChannel = pme->m_channels[QCAMERA_CH_TYPE_ZSL];
- 通过
Channel获取QCameraStream和mm_camera_buf_def_t, 因为返回回来的数据可能有多帧(拍照的YUV, 缩略图等), 我们需要找到我们想要的数据, 示例代码如下:
mm_camera_buf_def_t* yuvFrame = NULL;
QCameraStream* stream = NULL;
// frame 为 mm_camera_super_buf_t 类型
for (uint32_t i = 0; i < frame->num_bufs; i++) {
stream = pChannel->getStreamByHandle(frame->bufs[i]->stream_id);
if (stream != NULL) {
// 找到拍照数据
if (stream->isOrignalTypeOf(CAM_STREAM_TYPE_SNAPSHOT)) {
yuvFrame = frame->bufs[i];
break;
}
}
}
- 通过步骤2基本就得到YUV数据了, YUV buffer地址为
yuvFrame->buffer以及buffer大小yuvFrame->frame_len - 获取图像额外信息(宽, 高, 对齐后的宽高)
在高通平台, YUV数据一般会有对齐, 对齐是指为了处理效率更高, 图片宽高必须是某些数的整数倍(如 32或者64), 当然为什么对齐后处理效率更高, 这个好像是由于硬件设计的一些特性, 详细就不太清楚了. 如果图片宽高不是64位倍数, 对齐过后会在原图片右侧和下方留下无效像素, 当然经过JPEG硬件编码过后会被裁剪, 所以App层看到的是正常的, 只不过我们在HAL层获取的YUV数据是有无效像素的, 我们可以通过下面方法获取图片实际宽高和对齐后的宽高.
cam_frame_len_offset_t offset;
memset(&offset, 0, sizeof(cam_frame_len_offset_t));
cam_dimension_t dim;
memset(&dim, 0, sizeof(dim));
//stream为步骤2中获取的QCameraStream*
stream->getFrameOffset(offset);
stream->getFrameDimension(dim);
图片实际宽为:dim.width, 高为:dim.height, 对齐后的宽为:offset.mp[0].stride, 高为:offset.mp[0].scanline
通过上面步骤就能获得完整的YUV数据和相关信息了, 剩下就是调用算法.
总结
总的来说, 高通平台HAL层(HAL1)获取YUV数据需要注意如下几点:
- 在不同位置获取不同数据, 主要分为几种类型
- 普通拍照(capture)
- ZSL拍照
- 普通预览
- no-display-mode预览
- 录像数据(video)
- 录像过程中拍照数据(snapshot)
- 获取YUV数据流程为: 获取Channel->获取Stream->找到属于拍照类型的帧(frame)
- 获取的YUV数据格式为NV21, 且有对齐处理(一般是32位或者64位对齐)