三维视觉学习笔记

0.引言：

怎么获得3D信息？

>>用2D相机、距离传感器

在3D世界获得3D信息?

>>从相机中进行2D、3D重建；用Kinect传感器，激光距离传感器直接3D获取

传感器思维?

>>用阵列相机

 

1.2D到3D的重构

可以利用小孔成像或双目摄像原理实现2D到3D的重构。通过特征来对应关系，如果相机移动了，就要找到对应关系，用Hough或者sift来找到相关特征（用到梯度的矢量信息）。

怎么从2D到3D映射回去？

>>需要深度信息。同样需要特征对应关系。通过一些矩阵映射回去。

如果有两个图，怎么构造3D图?

>>用立体视觉。

怎么找到基本坐标信息？

>>可以用极坐标来恢复。

8点法：找到右边8个图像的点，然后找到左边对应的8个点。

如果有3个图，怎么重建？

>>与2个图类似，但是加了更多的信息。用光束法平差。通过不同的图得到点的关系之后有一个加权平均的过程，把问题构成优化的问题。

Kalman Filter可以通过这一帧图来预测下一帧的状态。n个图成像是用卡尔曼滤波是怎么做的。

新型的传感器：用阵列相机。相机的距离是线性变换的。也可以是非线性的（检测得更准）。

 

2.应用

(1)http://phototour.cs.washington.edu/

Convolutional-Recursive Deep Learning for 3D Object Classification:https://www.socher.org/index.php/Main/Convolutional-RecursiveDeepLearningFor3DObjectClassification

Photo Tourisim:Exploring Photo Collections in 3D：通过图来拍摄出深度，不是很新，2010年左右，用的keypoint description，matching。

(2)A Projector-Camera system.

三个主要元件：投影相机标定、区域检测和追踪、自动

拼接图的过程就是坐标变换。还有需要矫正畸变。

(3)直接获取3D信息的要有：Kinect（直接有深度信息）

      直接获取全景信息：Photometric stereo用multiple cameras ,multiple light sources

      Homepage://media.eu.tsinghua.edu.con    :Multiple cameras fro human body reconstruction

      Structured light method:calculate the shape by how the strip is distorted.根据物体表面曲率来做出来

      Real time virtual 3D scanner-structured Light Technology前景后景

      time of flight laser method激光传感器

      LIDAR light detection and ranging scanner

      3D Laser scanning-underground mine mapping(矿井3d重建)

(4)Motion caputre for film production(MOCAP)：拍电影时白色幕布前演员动作建立

3D body scanner

Kinect:有个IR检测出红外线的。

light field camera光流场，利用镜头上不同的长短来说明。

 

(5)Convolutional-Recursive Deep Learning for 3D Object Classification:

卷积层通过两个参数：kernal size区域context、下采样。如果stride是1，kernal是1，就是全连接层。artitect想清楚。

https://papers.hips.cc/paper/4//3-convolutional-recursive-deep-learning-for-3d-object-classification.pdf

RGB、Deepth、gray

3D未来/值得思考的问题

Content search in 3D video data bases; Shot boundary detection; video data mining; video classification

http://web.stanford.edu/class/cs231a/参考文献  从3d重构到物体识别