Openmv第五天之特征点匹配和测距

 前言

回顾昨日，昨天的模板匹配方法，我认为他给人的优点就是很简单，你只需要传入模板就可以找到和模板几乎一样的目标，但是这几乎一样导致了他的局限性，那么就是你稍微大一点或者小一点，亦或是角度不对就会导致你识别不成功，但有个有趣的事情，昨天看了一个人在做模板匹配的时候，他用alloc开辟了另一个画布，然后设置为灰度，然后在这里面做模板匹配，他的题目是找出数字也就是1，2，3，4，5，6，7，8的小车，然后他先是设置阈值去找那个数字的色块blob，也就是找到所有可能有数字的色块，然后呢将这个色块放回的一些统计数据去等比例放大缩小去适应我给的模板的大小，这样就可以实现远近移动也能识别的效果了，感觉这个想法是可行的。多角度多大小匹配可以尝试保存多个模板

Lets go

那么今天先学习特征点匹配

来自官方的解释是

例程提取最开始的图像作为目标物体特征，kpts1保存目标物体的特征。默认会匹配目标特征的多种比例大小和角度

首先先看给出官方的特征点匹配的代码

# 利用特征点检测特定物体例程。
# 向相机显示一个对象，然后运行该脚本。 一组关键点将被提取一次，然后
# 在以下帧中进行跟踪。 如果您想要一组新的关键点，请重新运行该脚本。
# 注意：请参阅文档以调整find_keypoints和match_keypoints。
import sensor, time, image

# Reset sensor
sensor.reset()

# Sensor settings
sensor.set_contrast(3)
sensor.set_gainceiling(16)
sensor.set_framesize(sensor.VGA)
sensor.set_windowing((320, 240))
sensor.set_pixformat(sensor.GRAYSCALE)

sensor.skip_frames(time = 2000)
sensor.set_auto_gain(False, value=100)

#画出特征点
def draw_keypoints(img, kpts):
    if kpts:
        print(kpts)
        img.draw_keypoints(kpts)
        img = sensor.snapshot()
        time.sleep_ms(1000)

kpts1 = None
#kpts1保存目标物体的特征，可以从文件导入特征，但是不建议这么做。
#kpts1 = image.load_descriptor("/desc.orb")
#img = sensor.snapshot()
#draw_keypoints(img, kpts1)

clock = time.clock()

while (True):
    clock.tick()
    img = sensor.snapshot()
    if (kpts1 == None):
        #如果是刚开始运行程序，提取最开始的图像作为目标物体特征，kpts1保存目标物体的特征
        #默认会匹配目标特征的多种比例大小，而不仅仅是保存目标特征时的大小，比模版匹配灵活。
        # NOTE: By default find_keypoints returns multi-scale keypoints extracted from an image pyramid.
        kpts1 = img.find_keypoints(max_keypoints=150, threshold=10, scale_factor=1.2)
        #image.find_keypoints(roi=Auto, threshold=20, normalized=False, scale_factor=1.5, max_keypoints=100, corner_detector=CORNER_AGAST)
        #roi表示识别的区域，是一个元组（x,y,w,h）,默认与framsesize大小一致。
        #threshold是0~255的一个阈值，用来控制特征点检测的角点数量。用默认的AGAST特征点检测，这个阈值大概是20。用FAST特征点检测，这个阈值大概是60～80。阈值越低，获得的角点越多。
        #normalized是一个布尔数值，默认是False，可以匹配目标特征的多种大小（比ncc模版匹配效果灵活）。如果设置为True，关闭特征点检测的多比例结果，仅匹配目标特征的一种大小（类似于模版匹配），但是运算速度会更快一些。
        #scale_factor是一个大于1.0的浮点数。这个数值越高，检测速度越快，但是匹配准确率会下降。一般在1.35~1.5左右最佳。
        #max_keypoints是一个物体可提取的特征点的最大数量。如果一个物体的特征点太多导致RAM内存爆掉，减小这个数值。
        #corner_detector是特征点检测采取的算法，默认是AGAST算法。FAST算法会更快但是准确率会下降。
        draw_keypoints(img, kpts1)
        #画出此时的目标特征
    else:
        #当与最开始的目标特征进行匹配时，默认设置normalized=True，只匹配目标特征的一种大小。
        # NOTE: When extracting keypoints to match the first descriptor, we use normalized=True to extract
        # keypoints from the first scale only, which will match one of the scales in the first descriptor.
        kpts2 = img.find_keypoints(max_keypoints=150, threshold=10, normalized=True)
        #如果检测到特征物体
        if (kpts2):
            #匹配当前找到的特征和最初的目标特征的相似度
            match = image.match_descriptor(kpts1, kpts2, threshold=85)
            #image.match_descriptor(descritor0, descriptor1, threshold=70, filter_outliers=False)。本函数返回kptmatch对象。
            #threshold阈值设置匹配的准确度，用来过滤掉有歧义的匹配。这个值越小，准确度越高。阈值范围0～100，默认70
            #filter_outliers默认关闭。

            #match.count()是kpt1和kpt2的匹配的近似特征点数目。
            #如果大于10，证明两个特征相似，匹配成功。
            if (match.count()>10):
                # If we have at least n "good matches"
                # Draw bounding rectangle and cross.
                #在匹配到的目标特征中心画十字和矩形框。
                img.draw_rectangle(match.rect())
                img.draw_cross(match.cx(), match.cy(), size=10)

            #match.theta()是匹配到的特征物体相对目标物体的旋转角度。
            print(kpts2, "matched:%d dt:%d"%(match.count(), match.theta()))
            #不建议draw_keypoints画出特征角点。
            # NOTE: uncomment if you want to draw the keypoints
            #img.draw_keypoints(kpts2, size=KEYPOINTS_SIZE, matched=True)

    # Draw FPS
    #打印帧率。
    img.draw_string(0, 0, "FPS:%.2f"%(clock.fps()))

在这段代码中 第一点我认为要注意的就是sensor的设置  

sensor.set_contrast(3)

这里有个对比度的设置，对比度是什么意思呢？我去查了一下，总结大概就是对比度越高越明朗有画面感鲜艳，这里是给的3值

sensor.set_gainceiling(16)

这里是增益，也就是让图像画面看起来可以更亮的东西，这样可以在不同环境下引入人为的亮暗进行调整。这里使用的VGA像素，可能这个特征点匹配可以更快把。

sensor.set_windowing((320, 240))
sensor.set_pixformat(sensor.GRAYSCALE)

这里开辟了一个窗口，将画面又调小了，目的是更好的去找特征点，目标特征点在小画面更好找把，然后这个特征点匹配也需要用灰度图来找。

sensor.set_auto_gain(False, value=100)

自动增益关闭，让强迫value一个值。

def draw_keypoints(img, kpts):
    if kpts:
        print(kpts)
        img.draw_keypoints(kpts)
        img = sensor.snapshot()
        time.sleep_ms(1000)

这里使用了一个画特征点的函数，之后就是第一次找到目标的特征点，画出特征点来指示我们已经找完了，而且给你展示出来，让你看一下有没有错误寻找，万一找到旁边不关心物体的特征点了呢。

 kpts1 = img.find_keypoints(max_keypoints=150, threshold=10, scale_factor=1.2)

这里是最关键的函数了，这个找特征点的函数，就是在区域中找这个图像的特征点，threshold这个是特征点阈值，也是要找多少个特征点的最大值。max_keypoints 是一个键点对象所能容纳的键点最大数量，scale_factor 是一个必须大于1.0的浮点数。较高的比例因子运行更快，但其图像匹配相应较差。理想值介于1.35-1.5之间。

下面用相同的方法找图像的特征点，把特征点赋值给kp2，这里注意他把normaized给了true，然后下面就开始匹配的过程了，其实就是把两组特征点拿到一起进行比较查看。

这里image.match_descriptor这个函数返回来的是两个匹配后的特征点相同的目标，我认为这样理解好一些，这样返回来这个目标后，是一个看kptmatch对象，这个对象也有下x,y,cy,cz,rect.还有一个重要的指标---

 img.draw_rectangle(match.rect())
                img.draw_cross(match.cx(), match.cy(), size=10)

match.count()

 这个指标可以得出相同点的个数，那么这样的话我们可以进行判断，如果这个个数大于一定的数，那么就可以判定他们是一个东西，这里设置的是10个特征点就行了。

 match = image.match_descriptor(kpts1, kpts2, threshold=85)

print(kpts2, "matched:%d dt:%d"%(match.count(), match.theta()))

 最后还可以打印出他的数量，和角度旋转量。

---

---

---

下面就是测距的内容了

设立阈值去寻找想要的目标，找到目标后，我们可以得到blob的x，y，h，w等信息，这些信息是什么呢？是像素数量的信息，也就是实际的h对应了现在得到的h，这里是一个等比例的缩放关系，也就是我要测量距离，那么如果我知道物体在20cm返回来的直径也就是w（打个比方是球），那么我就可以知道其中的比例系数，如果这里距离越远，那么返回来的w就越小，用l=k/w就可以得到距离，如果我想求物体的大小呢？那么还是一样的，我可以先求假如一个球在20cm的时候返回回来的直径像素是w，然后我们测出它本身的长度，那么这可以求出一个比例系数。20cm 4cm对应20像素，那么在20cm时40像素对应的就是8cm了这样就得出了长度，其他也是一样的道理。都是控制变量法说白了。当然你也可以用模板匹配或者特征点匹配来找出你想要的目标的距离和大小宽度长度。

# Measure the distance
#
# This example shows off how to measure the distance through the size in imgage
# This example in particular looks for yellow pingpong ball.

import sensor, image, time

# For color tracking to work really well you should ideally be in a very, very,
# very, controlled enviroment where the lighting is constant...
yellow_threshold   = ( 56,   83,    5,   57,   63,   80)
# You may need to tweak the above settings for tracking green things...
# Select an area in the Framebuffer to copy the color settings.

sensor.reset() # Initialize the camera sensor.
sensor.set_pixformat(sensor.RGB565) # use RGB565.
sensor.set_framesize(sensor.QQVGA) # use QQVGA for speed.
sensor.skip_frames(10) # Let new settings take affect.
sensor.set_auto_whitebal(False) # turn this off.
clock = time.clock() # Tracks FPS.

K=5000#the value should be measured

while(True):
    clock.tick() # Track elapsed milliseconds between snapshots().
    img = sensor.snapshot() # Take a picture and return the image.

    blobs = img.find_blobs([yellow_threshold])
    if len(blobs) == 1:
        # Draw a rect around the blob.
        b = blobs[0]
        img.draw_rectangle(b[0:4]) # rect
        img.draw_cross(b[5], b[6]) # cx, cy
        Lm = (b[2]+b[3])/2
        length = K/Lm
        print(length)

    #print(clock.fps()) # Note: Your OpenMV Cam runs about half as fast while
    # connected to your computer. The FPS should increase once disconnected.