投影式人机交互技术的基础知识梳理
摄像头：一般由镜头，图像传感器和主控芯片构成。镜头决定了摄像头参数，镜头的视角越大则图像的几何失真越严重。选择镜头时应保证镜头视角大于投影仪视角使投影图像全部进入摄像头视场中。
图像传感器分为ccd和cmos两种，各有优缺点。
ccd： 优点：灵敏度高，噪声小，成像质量高 缺点：成本高，功耗大
cmos：优点：成本低，功耗低，集成度高 缺点:噪声大，成像质量略低
一般常采用cmos图像传感器。
投影仪：一种将数字图像投影到屏幕上的装置。其工作时，光源经过光学器件产生rgb三个通道的光后经过微型显示器产生光学图像再投影到屏幕或物体表面。根据光路的可逆性，投影仪可以看作是一个逆向的摄像机。
姿态传感器：常见的MEMS姿态传感器包括 加速度传感器，磁阻传感器，陀螺仪等。用于检测系统的姿态变化。
摄像头/投影仪成像模型（小孔成像模型）：
摄像机焦距为f，物体高度为X，二者距离为Z，假设图像平面上物体所成像的高度为x，则
由于摄像头芯片的中心通常不在光轴上，实际拍摄到的空间点Q，设其坐标为(X,Y,Z)，与理想的成像点会有所偏移，设其像平面坐标为(u,v)则
以齐次坐标的方式表示为
其中lambda是尺度因子，目的是使得图像平面坐标与空间坐标尺度相对应。
包含fx fy的矩阵 成为摄像头的内参数矩阵。
由于上述公式实在摄像头坐标系与世界坐标重合的情况下得到的，一般情况下二者并不同，需要经过旋转和坐标轴转换重合，因此考虑这个转换关系（用R T 表示）后的模型为
投影仪-摄像头系统的数学模型：
一共有四个坐标系：
图像像素坐标系：U-Oi-V ,2d坐标系，U和V分别代表图像的水平和垂直方向，基本单位为像素点。
图像物理坐标系：X-Ou-Y，2d坐标系，Ou点是摄像机光轴与像平面的交点，xy与uv同向，基本单位为物理长度mm或cm等。
摄像机坐标系：Oc-Xc-Yc-Zc，3d坐标系，Oc为摄像机光心，Zc轴与摄像机光轴同向，基本单位是物理长度。
世界坐标系：Ow-Xw-Yw-Zw，3d坐标系，基本单位是物理长度。
摄像机模型：常用针孔模型进行描述。摄像机的成像过程是一个投影变换过程，有三个变换构成，即
1 将空间点M从世界坐标系Mw到摄像机坐标系Mc的变换，是一个旋转平移过程
Rc为旋转矩阵，Tc为平移矩阵
2 从摄像机坐标系Mc到图像理想物理坐标系 mu的变换，是一个投影变换
根据小孔成像的原理有
，其中f是摄像头焦距，则该变换可表示为
此处的lambda是尺度因子。
3 从图像物理坐标系到图像像素坐标系的变换，是一个尺度变换过程
对上述三种变换进行整合，得到空空间某一点再摄像头平面的成像坐标为
最终
（*）
其中Ac是摄像机的内参数矩阵，大小为3*3。【Rc，Tc】是摄像机的外参数矩阵，大小为3*4。
镜头的畸变失真：主要有两种失真，即 径向畸变失真 和 切向畸变失真。一般使用多项式来近似畸变失真的效果。
假设畸变的图像点的畸变表示为
ps. 这里两个公式的具体推导过程可参考https://blog.csdn.net/waeceo/article/details/51024396
考虑镜头畸变效果并校正后的图像点坐标为
里面k，p相关的系数都是失真系数，这些失真系数都属于摄像头的内部参数。
投影仪模型：作为逆向的摄像机模型，投影仪模型也符合小孔成像模型。即也满足
其畸变失真的校正方式也与摄像机相同。
单应性：单应性关系是立体视觉系统或者投影仪-摄像机系统中一个基本的变换关系。描述的是投影变换过程。一般将（*）进行如下表示
（对平面有Zw=0）
称作单应性矩阵，用于描述摄像头与投影仪之间的对应关系。