你的位置:首页 > 信息动态 > 新闻中心
信息动态
联系我们

OpenCV39:特征匹配+单应性矩阵查找对象

2021-12-3 18:29:23

目标

在本章中,将学习

  • 将从Calib3D模块中混淆特征匹配和找到(单应性矩阵)homography,以查找复杂图像中的已知对象。

基础

在之前的内容中,使用了一个query image,在其中找到了一些特征点,拍摄了另一张train image,也在该图像中找到了特征,找到了其中最好的匹配。简而言之,在另一张杂乱的图像中找到了物体某些部分的位置。该信息足以准确地在train image上找到对象

为此,可以使用calib3d模块的函数,即cv2.findHomography()。如果从图像中传递一组点,它将找到该对象的透视变换。然后可以使用cv2.perspectiveTransform()以查找对象。至少需要四个正确的点才能找到转换。

之前的内容中可以看到,匹配的时候可能存在一些可能的错误,这可能会影响结果。为了解决这个问题,算法使用RANSACLEAST_MEDIAN(可以由标志决定)。如此良好的匹配,提供正确估计称为inliers,并且剩余的称为异常值cv2.findhomography()返回一个掩码,指定Inlier和异常值

实现

首先,像往常一样,在图像中查找SIFT特征,并应用比率测试来找到最佳匹配。

现在设置了一个至少10的匹配(由min_match_count定义)的条件是在那里找到对象。否则简单地显示一条消息,表明不够匹配。

**如果找到有足够的匹配,将在两个图像中提取匹配项点的位置。**通过以找到相似的转变。一旦获得此3x3转换矩阵,将使用它将QueryImage的角转换为TrainImage中的对应点,然后画出来。

import cv2
import numpy as np
from matplotlib import pyplot as plt

MIN_MATCH_COUNT = 10

img1 = cv2.imread('box2.png', 0)  # query image
img2 = cv2.imread('box_in_scene.png', 0)  # train image

# Initial SIFT detector
sift = cv2.xfeatures2d.SIFT_create()

# find the keypoints and descriptiors with SIFT
kp1, des1 = sift.detectAndCompute(img1, None)
kp2, des2 = sift.detectAndCompute(img2, None)

FLANN_INDEX_KDTREE = 1
index_params = dict(algorithm=FLANN_INDEX_KDTREE, trees=5)
search_params = dict(checks=50)

flann = cv2.FlannBasedMatcher(index_params, search_params)

matches = flann.knnMatch(des1, des2, k=2)

# store all the good matches as per lows ratio test
good = []
for m, n in matches:
    if m.distance < 0.7 * n.distance:
        good.append(m)
        
if len(good) > MIN_MATCH_COUNT:
    src_pts = np.float32([ kp1[m.queryIdx].pt for m in good ]).reshape(-1,1,2)
    dst_pts = np.float32([ kp2[m.trainIdx].pt for m in good ]).reshape(-1,1,2)
    
    M, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)
    matchesMask = mask.ravel().tolist()
    
    h, w = img1.shape
    pts = np.float32([[0, 0], [0, h-1], [w-1, h-1], [w-1, 0]]).reshape(-1, 1, 2)
    dst = cv2.perspectiveTransform(pts, M)
    
    img2 = cv2.polylines(img2, [np.int32(dst)], True, 255, 3, cv2.LINE_AA)
else:
    print("Not enough matches are found - {} / {}".format(len(good), MIN_MATCH_COUNT))
    matchesMask = None

draw_params = dict(
    matchColor=(0, 255, 0),
    singlePointColor=None,
    matchesMask=matchesMask,
    flags=2)

img3 = cv2.drawMatches(img1, kp1, img2, kp2, good, None, **draw_params)
plt.imshow(img3, 'gray')
plt.show()

结果如下。在杂乱图像中用白色颜色标记匹配的物体
在这里插入图片描述

附加资源

  • https://docs.opencv.org/4.1.2/d9/d0c/group__calib3d.html#ga4abc2ece9fab9398f2e560d53c8c9780
  • https://docs.opencv.org/4.1.2/d1/de0/tutorial_py_feature_homography.html
  • https://blog.csdn.net/liubing8609/article/details/85340015
  • https://docs.opencv.org/4.1.2/d2/de8/group__core__array.html#gad327659ac03e5fd6894b90025e6900a7
  • cv2.findHomography()