AR-虚实融合文献阅读整理(二)

一 增强现实中虚实融合和人机交互技术的研究与应用_黄震宇

基于标志物的识别,利用opencv和三维图形引擎OGRE实现虚实融合展示系统;

人机交互方案采用PrimeSense的深度摄像头,通过计算机视觉处理,重建了人体三维谷歌系统定义体感语义,制定动作-指令映射表。结合体感开发平台OpenNI,实现肢体、全身控制。

一 绪论啥的

1.虚实融合

常用方法:光学显示(头戴头盔等)/视频显示(spectator view)/空间显示(投影仪等设备)

两个技术点:几何和光照

精度、比例和遮挡关系等-抗锯齿 曲面细分

炫光透明折射反射阴影

2.三维注册

/传感器注册

GPS,Gsensor,陀螺仪,CCD(发LED光来测目标基准间角度),超声波,MEMS

/计算机视觉注册 artoolkit等

/综合注册

根据图像特征点的跟踪定位,PTAM方案,使用的是Lucas-Kanade的光流跟踪算法,不需要特定标志物,基于自然图像

3.交互 数据手套 动作捕捉仪

二 基础知识介绍

1.数字图像

2.图像分割

主要用的算法包括 边缘检测、区域分割、形态学方法、阈值分割、分类与聚类算法

3.轮廓提取

4.摄像机标定-世界坐标系+摄像机坐标系+图像平面坐标系

-----世界-摄像机

AR-虚实融合文献阅读整理(二)_第1张图片

-----图像平面和图像像素坐标系

------线性摄像机模型/平面定标/模板匹配等

三 开发平台

1.Opencv

2.OGRE常用的渲染方式有opengl和到d3d,但不适合在大型程序中直接用,使用第三方图形渲染引擎 OGRE 遵循LGPL (火炬之光用的图形引擎)

其实吧 有点像更底层的unity

3.体感开发平台

OpenNI beckon iisu

四 系统

AR-虚实融合文献阅读整理(二)_第2张图片

系统实现

1.标志物,用的是artoolkit的

2.视频图像获取

用的是opencv的库 CvCapture * gcap;

gcap = cvCreateCameraCaputer(0);

image * frame = cvQueryframe(gcap);

3.检测标志物过程

AR-虚实融合文献阅读整理(二)_第3张图片

4.确定摄像机位置

5.标志物识别过程

四边形轮廓-图像正规化-模板匹配-识别

5.虚拟物体注册和渲染 用的是OGRE工具,大致流程是3dsmax模型-导出为scene格式(场景导出插件ogremaxsceneexporter)-ogre

五 基于深度摄像头的体感漫游系统

深度摄像头-谷歌重建-谷歌追踪-体感语义-交互指令

用的是primesensor,基于openNI平台


具体实现可以查阅相关论文。


二 桌面增强现实环境下的虚实融合和三维交互技术研究_陈亮

一 仍然是什么绪论,不得不吐槽国内的硕士论文,各种粘贴复制。。略过

二 虚实融合和三维交互技术

放弃这篇文章了,写的都是啥。。。各种粘贴来的东西 一点自己的思路都没有,浏览一下看看技术要点吧,大概用的也是openinventor,3D场景用的是OIV的Coin3D。感觉做了很多东西发了很多论文,然而思路太乱了。

你可能感兴趣的:(AR)