AR-虚实融合文献阅读整理（二）

一 增强现实中虚实融合和人机交互技术的研究与应用_黄震宇

基于标志物的识别，利用opencv和三维图形引擎OGRE实现虚实融合展示系统；

人机交互方案采用PrimeSense的深度摄像头，通过计算机视觉处理，重建了人体三维谷歌系统定义体感语义，制定动作-指令映射表。结合体感开发平台OpenNI，实现肢体、全身控制。

一 绪论啥的

1.虚实融合

常用方法：光学显示（头戴头盔等）/视频显示（spectator view）/空间显示（投影仪等设备）

两个技术点：几何和光照

精度、比例和遮挡关系等-抗锯齿 曲面细分

炫光透明折射反射阴影

2.三维注册

/传感器注册

GPS，Gsensor，陀螺仪，CCD（发LED光来测目标基准间角度），超声波，MEMS

/计算机视觉注册 artoolkit等

/综合注册

根据图像特征点的跟踪定位，PTAM方案，使用的是Lucas-Kanade的光流跟踪算法，不需要特定标志物，基于自然图像

3.交互 数据手套 动作捕捉仪

二 基础知识介绍

1.数字图像

2.图像分割

主要用的算法包括 边缘检测、区域分割、形态学方法、阈值分割、分类与聚类算法

3.轮廓提取

4.摄像机标定-世界坐标系+摄像机坐标系+图像平面坐标系

-----世界-摄像机

-----图像平面和图像像素坐标系

------线性摄像机模型/平面定标/模板匹配等

三 开发平台

1.Opencv

2.OGRE常用的渲染方式有opengl和到d3d，但不适合在大型程序中直接用，使用第三方图形渲染引擎 OGRE 遵循LGPL （火炬之光用的图形引擎）

其实吧 有点像更底层的unity

3.体感开发平台

OpenNI beckon iisu

四 系统

系统实现

1.标志物，用的是artoolkit的

2.视频图像获取

用的是opencv的库 CvCapture * gcap；

gcap = cvCreateCameraCaputer(0);

image * frame = cvQueryframe（gcap）；

3.检测标志物过程

4.确定摄像机位置

5.标志物识别过程

四边形轮廓-图像正规化-模板匹配-识别

5.虚拟物体注册和渲染 用的是OGRE工具，大致流程是3dsmax模型-导出为scene格式（场景导出插件ogremaxsceneexporter）-ogre

五 基于深度摄像头的体感漫游系统

深度摄像头-谷歌重建-谷歌追踪-体感语义-交互指令

用的是primesensor，基于openNI平台

具体实现可以查阅相关论文。

二 桌面增强现实环境下的虚实融合和三维交互技术研究_陈亮

一 仍然是什么绪论，不得不吐槽国内的硕士论文，各种粘贴复制。。略过

二 虚实融合和三维交互技术

放弃这篇文章了，写的都是啥。。。各种粘贴来的东西 一点自己的思路都没有，浏览一下看看技术要点吧，大概用的也是openinventor，3D场景用的是OIV的Coin3D。感觉做了很多东西发了很多论文，然而思路太乱了。