基于亮度与白平衡自动调整的图像拼接算法

基于亮度与白平衡自动调整的图像拼接算法

赵辉，陈辉，于泓

(山东大学 信息科学与工程学院, 山东 济南 250100)

摘 要：针对传统图像拼接算法不能拼接具有亮度与白平衡差异的图像的问题，本文提出一种改进算法。首先将图像进行角点提取并匹配，然后使用RANSAC算法去奇异点。接下来使用MSAC算法和回归分析法根据色彩模型估算三个彩色通道的变换函数，最后进行图像融合。实验结果表明本文算法对于相机自动拍摄的存在曝光、白平衡差异的图像可以很好的拼接。 关键词：图像拼接；MSAC；回归分析；光度配准

1 引言

近年来全景图自动拼接技术[1]一直是计算机视觉领域的研究热点。使用普通相机对周围环境进行摇移拍摄并保证相邻图像间有一定重叠，然后可利用软件算法来对图像进行自动拼接以生成全景图像。 传统的自动拼接算法在拍照时要求相机参数严格一致，而当使用普通全自动相机拍摄时，由于曝光参数和白平衡都是相机根据景物自动调整的，尤其受环境光照影响较大，这样图像之间往往存在着亮度和色彩的差异，从而导致传统拼接算法失败。笔者提出了一种针对此问题的改进算法，不仅利用角点匹配信息将图像之间进行几何配准；同时利用已经几何配准的彩色信息进行光度配准，有效的解决了使用相机自动档拍摄图片的自动拼接问题。

2 图像几何配准

首先将相机拍摄到的彩色图像转换为灰度图像，然后再利用平均法估计图像的亮度背景并在灰度图像中减去之，消除不同曝光参数、不同白平衡差别的影响。

接下来采用Harris算法[2]来对图像进行角点提取。设Ix和Iy分别为图像I在水平、竖直方向的一阶偏导数，w(x,y)是二维高斯平滑函数，有下面两个公式：

⎡2

M=∑w(x,y)⎢Ix

⎢x,y

⎣IxIy

(1) II⎤⎥I⎥⎦

x

y2y

(2) R=detM−k⋅(traceM)2,k=0.04~0.2

对图像每一点解得R，其在某一阈值之上并取得局部极大值的点即作为角点。 然后采用归一化相关法进行角点匹配，其计算公式如下：

NCC=

∑(I(x,y)−u)(I

1

i

i

1

i

2

1

i

i

1

i

i

2

(xi,yi)−u2)

2

(3)

∑(I(x,y)−u)∑(I

(xi,yi)−u2)2

由归一化互相关方法得到的匹配角点中往往存在极具干扰性的奇异点(outliers)，于是笔者采用文献[3]中提出的RANSAC算法对匹配点进行提纯，以去除错配。

下一步来估算灰度图像的变换公式。由文献[1]知相机绕近似固定点摇移拍摄的图像满足透视变换关系，图像之间的关联公式如下：

⎡xi′⎤⎡h0⎢⎥Xi′=⎢yi′⎥=H⋅Xi=⎢⎢h3⎢⎢⎣wi′⎥⎦⎣h6

h1

h4h7

h2⎤⎡xi⎤

⎢y⎥ ⋅h5⎥⎥⎢i⎥h8⎥⎦⎢⎣wi⎥⎦

(4)

这里Xi,Xi’分别为相邻两幅图像中第i组匹配点的齐次坐标向量表示，H为透视变换矩

-1-

http://www.paper.edu.cn

阵。矩阵H中第9个参数可以归一化为1。代入匹配点坐标到上式以求解8参数的过程是一个极小值优化求解问题。一般使用10组以上匹配点代入计算，这样方程数多于未知数，可以通过伪逆法来求解超定方程的最小二乘解。

最小二乘解H往往含有较大的配准误差，如果直接用其来进行图像融合将会出现较大的配准鬼影，合成图像清晰度较差，因此对其继续使用LM (Levenberg-Marquardt)算法[4]对H进行非线性优化。LM优化的起始值即为前面计算的最小二乘解。

3 基于MSAC和回归分析的图像光度配准

至此图像已经被几何配准了，即图像点的位置具备了几何对应关系。接下来将图像的光度（包括灰度、色度）进行配准，以消除两幅图像光度上的差异。 将红、绿、蓝三个色彩通道分开考虑，这样在每个颜色通道中，不同曝光参数与不同白平衡对图像灰度及色彩的影响可以用线性变换来近似[5]。综合考虑三个彩色通道，有：

⎛R2⎞⎛cr⎜⎟⎜⎜G2⎟=⎜0⎜B⎟⎜0⎝2⎠⎝

0cg0

0⎞⎛R1⎞⎛dr⎞⎟⎜⎟⎜⎟

0⎟⋅⎜G1⎟+⎜dg⎟ (5)

⎜⎟⎜⎟cb⎟⎠⎝B1⎠⎝db⎠

其中(c,d)为线性变换参数，是我们要计算的对象。计算时首先把第二幅图像利用前面

计算的H做投影变换向第一幅图像进行对齐，使得两幅图像像素点几何上对应起来，这样在每个像素点就可以得到两组RGB数值：(R2,G2,B2)与(R1,G1,B1)。像素点的选取原则是尽量选择前面匹配的角点及角点周围的临近点。

在实际计算中，由于配准误差、运动物体和透视变形等因素的存在，大量的图像点并不满足式(5)的关系。较多的奇异点往往会使回归分析法失败。为此笔者选用对奇异点鲁棒性较好的MSAC算法(M-estimator Sample Consensus)[5]去除奇异点。

以红色通道为例。假设有n组数据，dn为每个数据点(R2,R1)n到直线(c,d)的距离。

2

E=∑T(dn) (6)

否则，T(dn)=Thre。如式(6)所示进行求和。这里当dn222222

计算使得E最小的直线(c,d)，在每次迭代中阈值Thre以选择95%内点(inliers)为准。经过数

次迭代直至E不再明显变化为止，既可确定剩下的数据点都在内点范围内。

接下来使用回归分析法[4]更加精确的估算每个彩色通道的变换参数(c,d)。最后进行图像融合：首先根据前面计算的8参数矩阵H和3个色彩通道的6个参数将图像进行几何上的对齐和光度上的统一，然后将图像进行柱面投影并在交界处使用线性插值算法[1]将其合成以得到最终的拼接图像。

4 实验结果

本文实验图像采用数码相机手持拍摄。拍摄第1幅图像时使用自动曝光(1/400秒)、自动白平衡，拍摄第2幅图像时使用曝光参数为1/600秒，并且使用另一套不同的白平衡方案。拍摄的两幅图像为图1(a)、(b)所示。可见两幅图像在在亮度和色彩上都有较大差异。可以说第2幅图像存在严重的色偏和曝光不足。

-2-

http://www.paper.edu.cn

(a)第1幅图像 (b)第2幅图像 (c)第1幅图像的角点

(d)第2幅图像的角点 (e)几何配准结果 (f)光度配准后

图1 不同曝光参数、不同白平衡下拍摄的图像及配准结果

首选对图像进行灰度处理，然后使用Harris算法提取角点、使用相关法进行匹配，并用RANSAC算法去错配，最终得到的匹配角点如图1(c)、(d)所示。根据这些角点位置信息，利用最小二乘法和LM优化计算得到的透视变换矩阵H为：

1.1361 0.1104 -28.4272 -0.0198 1.1682 -188.7079 0.0000 0.0005 1.0000

将第2幅图像利用矩阵H向第1幅图像进行几何配准、对齐后，如图1(e)所示。可见两幅图像虽然已经几何配准，但在亮度、色度上存在较大差异，如果直接拼接的话将会产生明显的不连贯感，如图3(a)所示。

下面采用文中算法对两幅已经几何配准的图像继续进行光度配准。以红色通道为例， 将角点及其周围点的对应像素值绘制在坐标系内，如图2(a), 其横纵坐标范围为0～255。图2(b)是利用MSAC算法去奇异点的结果。图2(c)是利用回归分析法拟和的直线。

(a)去奇异点之前 (b)去掉奇异点后 (c)拟和的直线 图2 红色通道线性变换参数的估算

根据图2(c)直线的斜率和截距可以确定红色通道的线性变换参数：(c,d)R。同理可计算出(c,d)G、(c,d)B。根据三个通道的6个参数对图1(e)进行光度调整，得到图1(f)。可见图1(f)在色彩和亮度上都已经与图1(a)很接近，两幅图像的曝光与白平衡差异得到了校正。

综合起来，利用几何配准和光度配准的信息，最终图像融合结果为图3(b)所示。

-3-

http://www.paper.edu.cn

(a) 未经光度配准直接拼接的结果 (b)本文算法拼接的结果

图3 图像拼接结果

可见本算法合成的图像在拼接处过渡自然，整体一致性较佳，比传统算法更具实用价值。

5 结论 在本文提出的基于几何配准和光度配准的图像自动拼接算法中，RANSAC算法以图像角点位置坐标作为对象来去除奇异点，为图像几何配准提供了保障；MSAC算法则以图像各颜色通道对应点的像素值作为对象来去除奇异点，保证了图像光度配准的统一。实验结果表明，本文算法对于使用普通相机拍摄的亮度、色度不一致的图像均可稳健、正确拼接。

参考文献

[1] H.Y.Shum, R.Szeliski. Panoramic Image Mosaics[R]. MSR-TR-97-23

[2] C.Harris,M.Stephens.A combined corner and edge detector[C].4th Vision Conf,147-151,1988

[3] Fishchler M A: Random Sample Consensus: a paradigm for model fitting with application to image analysis and automated cartography[J]. Communication Association Machine, 1981, 24(6): 381-395 [4] 现代应用数学手册：计算与数值分析卷[M]。清华大学出版社2005年出版。 [5] David P.C.Image Mosaicing and Super-resolution[D]. Oxford University 2001.

Image Mosaic Based on Automatic Brightness and

White Blance Ajustment

ZHAO Hui,CHEN Hui,YU Hong

(School of Information Science and Engineering,SDU.Jinan 250100,China)

Abstract

This paper presents a novel image mosaic method based on brightness and white blance austment.Firstly,image corners are matched and outliers are reduced by RANSAC algorithm.Secondly,MSAC and regression analysis are used to fetch the linear transform parameters of the three color channels.Then images are blended.Experiments show that our algorithm is effective.

Keywords：Image Mosaic; MSAC; Regression Analysis; Photometric Registration

作者简介：

赵辉(1981-)，男，山东济南人，硕士，主要研究方向：图像配准、图像融合;

陈辉(1962-)，女，山东济南人，博士，副教授，主要研究方向：图形学与计算机视觉; 于泓(1981-)，男，山东烟台人，硕士，主要研究方向：图像处理.

-4-