20220330时间轴--双目摄像头

动机：为何要买摄像头模块？   为何要买双目模块而不是？

摄像头高分辨率，低价格。

用2个摄像头，加视差算法，测量图片中物体与摄像头的距离，输出深度图。 

用2个摄像头不容易做到图像的同步，所以要哟呵个双目模块，方便左右眼同步

行为：CHUSEI双目摄像头 ，购买日期：2022-02-12

CHUSEI双目摄像头 参数

30万像素 

UVC协议免驱

双目同步，

视角60度？

45元

缺点没有主动光，在环境较暗的时候不工作。

行为：HBV双目摄像头，购买日期： 2022-02-23

HBV双目摄像头参数

130万像素 

UVC协议免驱

双目同步，

视角80度。

200元

缺点没有主动光，在环境较暗的时候不工作。

---

动机：将2个板子跑起来，输出左右眼图片

一大堆 debug，挑几个重要的

原始例程中摄像头ID不能用，用程序暴力搜索找到ID--700

CHUSEI板子设置时，dev.set_configuration()    ##这个语句必须有

有时因程序崩溃，摄像头资源被占用，需要释放资源。否则报错。

数据格式很重要。矩阵格式，数据格式cv2.uint8，单通道，3通道

---

动机：提取特征

特征点 提取

SIFT,

SURF,

ORB特征点提取和匹配   速度最快的。必须进行后续处理，删除错误匹配

特征线 提取

canny边缘提取

特征面 提取

改进的二值化，可以选择面积大小，

轮廓线提取，todo 将短序列去除，相当于降噪

水平单方向滑动算法。 视差可以转换为深度。

傅里叶变换，从空间域到频率域

---

动机：双目重合时的特征提取。

将左右眼图片重合。在数学上如何计算，首先要明确用何种描述，来表达局部重合度这个概念

答案是局部匹配度可以用多种方法表示

二值化图 可以用xor表示。完全重合会变黑。

灰度图 可以用双眼重合图水平方向的梯度表示。（主眼视图和双眼重合图）

双眼重合图的特征，可以用亮度概率直方图（亮度分布曲线），FFT频率图，orbFAST角点图，orbBRIEF特征图。

如果特征是数值，主眼视图可以作为基准，重合时，双眼重合图-主眼视图距离最小。

因为两个图都是对焦良好的聚焦图像，所以似乎不能用相机对焦的反差法计算。

---

动机：减少噪音

噪音无处不在，从环境光的波动噪音，物理器件的AD转换噪音，到计算管线中产生的各种噪音，最后都会累计，并对深度图产生不良影响。解决方式有：

硬件

用更好的摄像头硬件（HBV板子默认分辨率只有 5 FPS，CHUSEI板子 30 FPS）。

todo 降低HBV分辨率，再次测试。

软件

用去噪算法，损失分辨率

二值化算法，配合时间维度上的滤波算法。调整阈值参数c。

---

动机：获得深度图

深度图用双目，从基准对齐（无限远）到离摄像头20cm远

用树枝（花）检验算法有效性和分辨率

---

动机：机器人感知环境和物品

 用机器学习实例分割，查找感兴趣区域“ROI”，建立360度的深度图

---

动机：驱动机械臂，抓取物品

触觉反馈算法（抓住竖立的铅笔），PID算法（用目标位置和机械手位置，迭代算法。不用空间解析算法）