2022-04-29 chusei 双目摄像头 ，一种新的深度算法

# todo  现在是边界有深度信息，面没有深度信息

# todo 个别线段深度信息有误

# 用 卷积去彩虹， 卷积核的作用是时间轴上的边界重叠位置，计算重合时刻的视差，

#  计算的结果仅仅是边沿， todo 将视差向右传播，方法是？？（直到另外一个极值？）

''' 伪代码：

frame2 [0:240,0:320]                              左右眼照片，320x240

cv2.cvtColor(imgL,cv2.COLOR_BGR2GRAY)              灰度化

cv2.addWeighted()                                  融合左右眼算法，

                                                  #  将shift=1  shift=99 堆叠成3D 阵列

                                                  #  将3D 转换为2D，选择极值，并记录层数 

                                                  #  将2D转换为深度图，

                                                  #  将深度图转换为色彩图

'''

############## from       

#  https://blog.csdn.net/youcans/article/details/121309503    图像的平移

#  https://blog.csdn.net/u013044310/article/details/80407220  二维array叠加成三维array

import cv2

import numpy as np

import time

start = time.time()

dx, dy = 0, -1                                                  # dx  向右偏移量,  dy=-3  固定偏移量

  #  dx=-3 窗外的塔吊重合

  #  dx=-5 办公室远处的绿植重合

  #  dx=-99 距离摄像头15cm的鼻子重合

DATA3D  =np.zeros((30,240,320), dtype=np.uint8)                            # 存储  所有的视差融合图  高 x 宽 x 视差（像素），每个单元格里是：左右眼差异

DATA3D2 =np.zeros((30,240,320), dtype=np.uint8)                            # 存储  视差融合点 

DATA2D=np.zeros((240,320), dtype=np.uint8 )                              # 存储 高 x 宽 ，每个单元格里是：  融合后最小值的视差（像素）

# print(DATA3D.shape)

########################################################################### 

kernel = np.array((                                            #  卷积核，用于查找左右眼重合点

        [-1, -1,  1,  1,  0],

        [-1, -1,  1,  0, -1],

        [-1, -1,  0, -1, -1],

        [-1,  0,  1, -1, -1],

        [ 0,  1,  1, -1, -1]),

        dtype="float32") / 1

##############  CHUSEI摄像头初始化和获取图片，分割图片。 开始  ############################

import usb.core

cam=cv2.VideoCapture(700)

#cam=cv2.VideoCapture(cv2.CAP_DSHOW)                      ####  cv2.CAP_DSHOW = 700      ，需要import usb，  而不是import usb.core？？

dev = usb.core.find(idVendor=0x18e3, idProduct=0x5031)

dev.set_configuration()                                    ####  去除这个语句也可以使用？？

# simulate the SET_CUR sequence

dev.ctrl_transfer(0x21,0x01,0x0800,0x0600,[0x50,0xff])    #  bEndpointAddress  0x21

dev.ctrl_transfer(0x21,0x01,0x0f00,0x0600,[0x00,0xf6])

dev.ctrl_transfer(0x21,0x01,0x0800,0x0600,[0x25,0x00])

dev.ctrl_transfer(0x21,0x01,0x0800,0x0600,[0x5f,0xfe])

dev.ctrl_transfer(0x21,0x01,0x0f00,0x0600,[0x00,0x03])

dev.ctrl_transfer(0x21,0x01,0x0f00,0x0600,[0x00,0x02])

dev.ctrl_transfer(0x21,0x01,0x0f00,0x0600,[0x00,0x12])

dev.ctrl_transfer(0x21,0x01,0x0f00,0x0600,[0x00,0x04])

dev.ctrl_transfer(0x21,0x01,0x0800,0x0600,[0x76,0xc3])

dev.ctrl_transfer(0x21,0x01,0x0a00,0x0600,[4,0x00])

k=0

while cam .isOpened():

    end    = time.time()

    seconds = end - start  # 处理一帧所用的时间

    start  = end

    fps    = 1 / seconds  # 一秒钟可以处理多少帧

    fps    = "%.2f fps"%fps

    # print(fps)       

    ret0, frame0 = cam .read()

####################################################################

    frame2 = cv2.resize(frame0, (640, 240),  interpolation=cv2.INTER_CUBIC)      ##    拉伸画面  2*width,height

    imgL = frame2 [0:240,0:320]                                                    ##  2个窗口，分别显示左右眼 

    imgR = frame2 [0:240,320:640]

    # print (imgL.shape)       

#########################################################

    imgL_gray=cv2.cvtColor(imgL,cv2.COLOR_BGR2GRAY)

    ##  rows, cols, ch = imgL.shape                                                                # for 彩色图片

    rows, cols    = imgL_gray.shape

    ## print (imgL_gray.dtype)       

    ## imgL_gray=imgL_gray.astype(np.int16)

    imgR_gray=cv2.cvtColor(imgR,cv2.COLOR_BGR2GRAY)

    cv2.imshow('imgR_gray',imgR_gray)

    ## imgR_gray=imgR_gray.astype(np.int16)

    for i in range(2,31):   

        # print(i)

        MAT = np.float32([[1, 0, -2*i], [0, 1, dy]])                                                  # 构造平移变换矩阵 ,[dx， dy]像素移动 

        imgL_gray_shift = cv2.warpAffine(imgL_gray, MAT, (cols, rows))                                # 仿射变换，移动图片。默认为黑色填充

        # imgL_gray_shift = cv2.warpAffine(imgL_gray, MAT, (cols, rows), borderValue=(255,255,255))    # 白色填充

        # cv2.imshow('imgL_gray_shift',imgL_gray_shift)

###########################################################################################     

        # imgMerge=np.subtract(imgR_gray ,imgL_gray_shift )                                                # 2图相减，   

        imgMerge=cv2.absdiff(imgR_gray ,imgL_gray_shift )

        # print(imgMerge)

        # imgMergeAbs=np.abs( cv2.addWeighted(imgR_gray ,1,imgL_gray_shift,-1,0  )    )              # 取绝对值，与不取绝对值相比，没有任何差异         

        DATA3D[i-2,:,:] = imgMerge                                                                  # 堆叠。最好一开始申请一段连续的空间，数据搬运工作量少，比较节约cpu时间，

        # print( DATA3D.dtype )                                                                      # 一直保持了uint8

        # print( DATA3D.shape )     

        # 从另外一个维度切片，做卷积，求重合点

    for i in range(0,240):

        probe2D= DATA3D[:,i,:]

        imgProbe2DMin = cv2.filter2D(probe2D, -1, kernel)

        DATA3D2[:,i,:] = imgProbe2DMin

    #############################################       

    imgTemp = DATA3D[:,100,:] *20                      ##  显示 未经卷积处理过的3D矩阵的剖面， *20 表示增强信号，否则看不到

    cv2.imshow( 'imgTemp', imgTemp  )

    imgTemp1 = DATA3D2[:,100,:] *20                    ##  显示 已经卷积处理过的3D矩阵的剖面， *20 表示增强信号，否则看不到

    cv2.imshow( 'imgTemp1', imgTemp1  )

    # 求极值

    DATA2D  = np.argmax( DATA3D2,axis = 0 ).astype(np.uint8) * 9                                    # np.argmin( ) 返回了最小值的位置 

    # DATA2D  = np.argmin( DATA3D2,axis = 0 ).astype(np.uint8) * 9                                    # np.argmin( ) 返回了最小值的位置 

    # DATA2D  = pow(  np.argmax( DATA3D2,axis = 0 ) * 2000,    0.5 )  .astype(np.uint8)                # np.argmin( ) 返回了最小值的位置 

                                                                                                      # debug 《《《《《 程序 会返回全黑！！

                                                                                                      # debug 《《《《《 程序会将uint8 自动更改为 int64

        # print(DATA2D.dtype)                         

        # print( DATA2D.shape )                     

    imgColor = cv2.applyColorMap(DATA2D, cv2.COLORMAP_JET)                      # COLORMAP_JET = 2, 蓝到红

                                                                                # COLORMAP_RAINBOW = 4,红到蓝

    '''

    cv2.putText(

        imgMerge,                            # 图片

        fps,                                  # 添加的文字

        (5,50 ),                              # 位置

        cv2.FONT_HERSHEY_SIMPLEX,            # 字体

        0.75,                                # 字体大小

        (0, 0, 255),                          # 字体颜色

        2)                                    # 字体粗细

    '''   

    cv2.imshow( 'imgColor', imgColor  )            # 如果 DATA2D 声明的时候没有指定数据类型，或者在计算过程中数据类型改变，可以在这里指定为 uint8

#########  键盘响应 ，兼计时器  ########################################3 

    k = cv2.waitKey(3) & 0xFF                                #等待键盘输入,间隔  xx us 

    if (k == ord('q')) | (k == 27 ) :

        break

cam.release()                                   

cv2.destroyAllWindows()