本系统在matlab验证过后,目标是移植到android上。
通过Android的JNI调用c++实现的算法核心部分。
方法:在安卓开发中,通过JNI调用本地C++代码,使用opencv进行开发处理,本地代码通过NDK进行编译。
MainActivity.class
主要实现功能:Android实现录像主要依靠MediaRecorder和SurfaceView这两个类。另外,因为需要对摄像头参数做一些设定,所以也需要Camera类。它们的作用分别是:MediaRecorder通过控制录像音视频源和输出编码等;surfaceview则是作为View的存在提供用户界面,在surfaceview的不同生命周期实现不同的操作;camera类则用于对摄像头参数做一些设定,再调用MediaRecorder的setCamera()
方法将camera对象带入。
初始化屏幕和layout(activity_main.xml)
创建SurfaceView(Surface的意思是表层,表面的意思,那么SurfaceView就是指一个在表层的View对象。因为它有点特殊跟其他View不一样,其他View是绘制在表层外,而它就是充当表层对象。)
初始化相机设置(Camera类)
监听“录制视频”按钮,生成MediaRecorder类对象,并通过该对象的setCamera() 方法设置相机初始化参数,设置帧率30,打开录像,以时间戳为文件名保存每一帧,延时6000ms后关闭录像。(mp4格式)
由点击“查看视频文件”按钮事件,通过Intent()启动”查看视频文件”活动(ShowVideoActivity.class)
由点击“视频处理”按钮事件,通过Intent()启动”视频处理”活动(ProcessActivity.class)
ShowVideoActivity.class
主要实现功能:获取文件列表——选择文件——Uri类播放视频文件
ProcessActivity.class
主要实现功能:首先通过intent.putExtra()和intent.getStringExtra()传递参数,获取MainActivity.class中录制的视频文件名;然后通过MediaMetadataRetriever类解析媒体文件;点击“处理图像”按钮调用处理函数:首先在for循环中通过getFrameAtTime()获取视频中的一帧,在通过Bitmap类的getPixels()方法获取一帧图像的像素值,然后调用距离测距方法,该方法是通过Android的JNI调用实现的;
Android 的 JNI 调用
先在Android工程新建JNI接口类,该类不需要继承任何Java的接口类,我这里定义为OpenCVHelper.class,在该类中声明我们坐标计算的方法。
编译该接口类:在cmd中进入该工程的目录,输入【javah -classpath bin/classes -d jni com.alanjet.videorecordertest.OpenCVHelper】编译接口类,将会在该工程中自动创建jni文件夹,其中包含编译好的【com_alanjet_videorecordertest_OpenCVHelper.h】头文件。
配置Android工程的NativeSupport,将会在jni文件夹中自动添加一个【Android.mk】文件和【com_alanjet_videorecordertest_OpenCVHelper.cpp】文件,并在该.cpp文件中添加具体的接口实现方法。
C++实现
JNIEXPORT jdoubleArray JNICALL Java_com_alanjet_videorecordertest_OpenCVHelper_computeXYZ
(JNIEnv *env, jclass obj, jintArray buf, jint offset){
double rotAngle=(double)offset;
const double pi=3.14;
const double fc=574.860069576728280;
int w=640;
int h=480;
int count=0;
int sumInd=0;
double offsetAngle=-(rotAngle)/360.0*pi;
double ind=0,xDis=0,qChange=0;
double sDis=0.2,sRotation=0.105,pixelSize=0.0000022,angle=82.0/180.0*pi,focal=fc*pixelSize,objY=0.5;
double posX,posY,posZ;
/**获取java传递下来的数组**/
jint *cbuf;
cbuf=env->GetIntArrayElements(buf,JNI_FALSE);
if(NULL==cbuf){
return 0;
}
Mat imgData(h,w,CV_8UC4, (unsigned char*)cbuf); //原始图像数据
vector channels;
split(imgData,channels); //图像的通道拆分
Mat binaryImg=channels[0];
threshold(binaryImg,binaryImg,10,255,THRESH_OTSU); //图像二值化,阈值为10
jdouble *ptr=new jdouble[480*3]; //保存由图像光条计算得到的3D坐标
for(int j=0;j<480;j++) //对480行的每一行操作
{
double surToSurAngle=atan( (-pixelSize*(j-240)) / focal); //基准面角
double focalTransform=focal/cos(surToSurAngle); //该行的成像点对应的焦距
sumInd=0;count=0;
uchar* data=binaryImg.ptr(j); //该行每一个像素点值
for(int i=0;i<640;i++) //对该行的每一列,即每一个像素点操作
{
int temp=(int)data[i];
if(255==temp && i>320) //统计该行的光条像素位置之和及个数,用来后面求平均值
{
sumInd+=i+1;//第i列代表加上i+1
count++;
}
}
if(0==count)
{
posX=0;
posY=0;
posZ=0;
}
else
{
ind=(double)sumInd/(double)count; //光条中心位置
xDis=(ind-320)*pixelSize+focalTransform/tan(angle);
qChange=focalTransform*sDis/xDis; //计算物体到基线的距离
posY=qChange*cos(surToSurAngle);
posZ=qChange*sin(surToSurAngle);
posX=posY/tan(angle)-sRotation; //获得物体每个点在旋转中心坐标系下的3D坐标
posY=posY-objY;
posX=posX*cos(offsetAngle)+posY*sin(offsetAngle);
posY=posY*cos(offsetAngle)-posX*sin(offsetAngle); //获得物体每个点在旋转平台旋转到90°时的坐标系下的3D坐标
}
ptr[j*3+0]=posX;
ptr[j*3+1]=posY;
ptr[j*3+2]=posZ; //存入数组中
}
jdoubleArray result = env->NewDoubleArray(3*480);
/**将ptr赋值给result,该数组返回给Java层**/
env->SetDoubleArrayRegion(result,0,480*3,ptr);
return result;
}