OpenCV 叠加应用 remap

本文最后更新于：2024年5月7日下午

OpenCV 的 remap 函数用于计算原始矩阵的差值版本，当需要将多次映射时需要多次使用 remap 函数，本文记录将多次 remap 合并的方法。

背景

考虑对图像做畸变校正的背景应用，对于一幅带有畸变的图像 $I$，使用 OpenCV 的传统畸变校正流程后得到了畸变过程在 $X, Y$ 方向上的两个畸变校正映射矩阵 $map_x, map_y$；

但是可能这个畸变校正的结果仍然没有达到精度要求，需要在此基础上建立更加复杂的模型并求解，之后会得到在第一次映射图像基础上的第二次畸变校正映射矩阵 $map_x’, map_y’$；

那么此时的畸变校正流程为：
$$
D(I) = map’(map(I))
$$
但是又不想畸变校正两次，于是需要将两次映射合并成一个等效 $map^e$
$$
D(I) = map’(map(I))=map^e(I)
$$

实现思路

在 remap 函数中 $X,Y$ 是解耦的，也就是 $X$ 一个矩阵，$Y$ 一个矩阵，于是在求解 $map^e$ 时也同样可以分成 $X,Y$ 两个独立的维度；

考虑 $map_x$，其中记录的是新图像每个整数点位置对应原始图像的 $X$ 方向坐标，大多数情况是浮点数，那么 $map_x’$ 做的事情就是在 $map_x$ 的浮点坐标之间进行进一步插值，那么事实上直接用 $map_x’, map_y’$ remap $map_x$，得到的结果就是 $map^e_x$，同理可以求得 $map^e_y$；

Python 实现

示例代码：

import mtutils as mt
import cv2


if __name__ == '__main__':
    map_x = cv2.imread('map_x.tiff', cv2.IMREAD_UNCHANGED)
    map_y = cv2.imread('map_y.tiff', cv2.IMREAD_UNCHANGED)

    map_x_opencv = cv2.imread('map_x_opencv.tiff', cv2.IMREAD_UNCHANGED)
    map_y_opencv = cv2.imread('map_y_opencv.tiff', cv2.IMREAD_UNCHANGED)

    # 生成等效 map
    new_map_x = cv2.remap(map_x_opencv, map_x, map_y, cv2.INTER_LINEAR)
    new_map_y = cv2.remap(map_y_opencv, map_x, map_y, cv2.INTER_LINEAR)

    mt.cv_rgb_imwrite(new_map_x, 'merge_map_x.tiff')
    mt.cv_rgb_imwrite(new_map_y, 'merge_map_y.tiff')

	img = mt.cv_rgb_imread('test.png', 1)

	frame1 = cv2.remap(img, new_map_x, new_map_y, cv2.INTER_LINEAR)

	frame2 = cv2.remap(img.astype('float32'), map_x_opencv, map_y_opencv, cv2.INTER_LINEAR)
	frame2 = cv2.remap(frame2, map_x, map_y, cv2.INTER_LINEAR)
	frame2 = frame2.astype('uint8')

	pass