图像配准opencv-python实践

图像配准需是指对不同条件下得到的两幅或多幅图像进⾏匹配、叠加的过程。最简单的做法就是求得原图像到⽬标图像之间的透视变换矩阵，将原图像按照矩阵进⾏变换，就可以得到和⽬标图像相似的效果。透视变换是将成像投影到⼀个新的视平⾯，也称作投影映射。

透视变换实质上是将⼆维的图⽚变换到三维的坐标系中之后再变换到另⼀个⼆维坐标系，与仿射变换相⽐透视变换实现的效果要多⼀些。求解精确矩阵和透视变换可以很容易地在opencv-python中实现。

1 import cv2 as cv 2 import numpy as np

3 import matplotlib.pyplot as plt

4 original_image = cv.imread(\"Image A.jpg\") 5 target_image = cv.imread(\"Image B.jpg\") 6 # ⽣成透视矩阵

7 src_points = np.array([[957, 1655], [2177, 1170], [2676, 24], [2487, 1931]], dtype=np.float32) 8 den_points = np.array([[687, 1150], [2000, 996], [2757, 18], [2098, 1819]], dtype=np.float32) 9 # getPerspectiveTransform可以得到从点集src_points到点集den_points的透视变换矩阵10 T = cv.getPerspectiveTransform(src_points, den_points)11 # 进⾏透视变换

12 # 注意透视变换第三个参数为变换后图⽚⼤⼩，格式为（⾼度，宽度）

13 warp_imgae = cv.warpPerspective(original_image, T, (target_image.shape[1], target_image.shape[0]))14 plt.imshow(warp_imgae)15 plt.show()

进⾏四点变换前后的结果为

opencv-python也可以计算超过四个点的两数组点之间的变换矩阵。对原图像选择7个点进⾏透视变换的结果为

1 # 设置原始和⽬标特征点

2 src_more_point = np.float32([[957, 1655], [2177, 1170], [620, 2586], [1280, 2316], [2487, 1931], [937, 758], [2676, 24]]).reshape(-1, 1, 2) 3 den_more_point = np.float32([[687, 1150], [2000, 996], [121, 1974], [927, 1886], [2098, 1819], [9, 280], [2757, 18]]).reshape(-1, 1, 2) 4 # 调⽤库函数计算特征矩阵

5 # cv.findHomography第三个参数为计算单位矩阵所⽤的⽅法，0为常规算法，cv.RANSAC为基于RANSAC的鲁棒算法，cv.LMEDS为最⼩中值 6 # 鲁棒算法,cv.RHO基于PROSAC的鲁棒算法.第四个参数取值范围在1到10，绝⼀个点对的阈值。原图像的点经过变换后点与⽬标图像上对应 7 # 点的误差.返回值中H为变换矩阵.mask是掩模，在线的点.

8 H, status = cv.findHomography(src_more_point, den_more_point, cv.RANSAC, 5.0) 9 # 进⾏透视变换

10 warped_more_point_image = cv.warpPerspective(original_image, H, (target_image.shape[1], target_image.shape[0]))

对4个点、7个点和opencv-python函数库⾃动匹配的效果对⽐如下

可以看出如果匹配点选择恰当，三种⽅法的效果并没有太⼤区别。调⽤库函数的图像⾃动匹配代码如下

1 # ⽤AKAZE库函数进⾏⾃动特征检测，AKAZE与SIFT等属于相似的 特征检测，但是有⼀些不同 2 akaze = cv.AKAZE_create()

3 # Find the keypoints and descriptors with SIFT

4 kp1, des1 = akaze.detectAndCompute(original_image_gray, None) 5 kp2, des2 = akaze.detectAndCompute(target_image_gray, None) 6

7 bf = cv.BFMatcher()

8 matches = bf.knnMatch(des1, des2, k=2) 9 good_matches = []10 for m, n in matches:

11 if m.distance < 0.75 * n.distance:12 good_matches.append([m])13

14 # 画出符合条件的匹配点的连线

15 img3 = cv.drawMatchesKnn(original_image_gray, kp1, target_image_gray, kp2, good_matches, None, flags=cv.DrawMatchesFlags_NOT_DRAW_SINGLE_POINTS)16 cv.imwrite('matches.jpg', img3)17 18

19 src_automatic_points = np.float32([kp1[m[0].queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)20 den_automatic_points = np.float32([kp2[m[0].trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)21

22 # 调⽤库函数计算特征矩阵

23 H, status = cv.findHomography(src_more_point, den_more_point, cv.RANSAC, 5.0)24 # 进⾏透视变换

25 warped_automatic_image = cv.warpPerspective(original_image, H, (target_image.shape[1], target_image.shape[0]))26

27 # 绘制图像

28 my_draw(warped_automatic_image, tip='automatic')