基于偏振成像的强反射工件视觉测量方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 111127384 A(43)申请公布日 2020.05.08

(21)申请号 201910396592.6(22)申请日 2019.05.13

(66)本国优先权数据

201811196752.4 2018.10.15 CN

(71)申请人 华东交通大学

地址 330013 江西省南昌市经济开发区双

港东大街808号(72)发明人 祝振敏　王心韵　裴爽　(51)Int.Cl.

G06T 7/00(2017.01)G06T 7/90(2017.01)G06N 3/08(2006.01)G01B 11/24(2006.01)

权利要求书1页 说明书5页 附图1页

()发明名称

基于偏振成像的强反射工件视觉测量方法(57)摘要

本发明提供了一种基于偏振成像的强反射工件视觉测量方法。针对图像中的高光区域对图像纹理细节和颜色信息的丢失而影响到立体视觉非接触式测量精度，根据高光区域的反射特性以及应用物理中的偏振成像原理，建立图像高光区域的像素值模型。通过在CCD相机镜头上安装偏振镜片并旋转不同偏振角度，得到对应不同偏振角度下目标物体的二维图像，并采用BP神经网络对图像高光区域的像素值进行模型搭建，在此模型中图像高光区域像素值有效降低，实现了图像高光区域的有效检测与消除，对应图像行像素分布较为平滑并且高光区域像素得到了较好的。本发明所述的基于偏振成像的强反射工件视觉测量方法的研究消除了图像部分高亮度区域，可用于立体视觉测量系统，针对工业制造技术领域等需要在自然光情况下高精度相机标定的领域，具有好的应用前景。

CN 111127384 ACN 111127384 A

权　利　要　求　书

1/1页

1.一种基于偏振成像的强反射工件视觉测量方法，其特征在于，包括：(1)建立一个基于偏振信息的图像去高光系统，基于偏振装置的图像去高光系统主要由以下几个部分组成：CCD相机，其对应最大分辨率/帧频为：1624×1224@29fps，像元尺寸为：4.4μm、线性偏振片PL、实验平台、高反射率金属工件、图像采集软件以及PC主机；

(2)将一幅含有高光区域的彩色图像经过白平衡处理后转换到HSV颜色空间，进而得到V通道上的高光图像，然后对其像素点进行分析，得到高光图像对应的亮度分布图。采取基于动态阈值的图像白平衡处理算法，算法针对指定图像进行白点检测和白点调整两大步骤。为了较好地对彩色图像中的高光区域像素进行统计，引入Mean-Shift算法对图像进行聚类处理以突显出图像中存在的高光区域。

Mean-Shift算法原理在于求解概率密度的局部最优解，一幅图像的像素点分布对应概率密度函数f(x)，已知d维空间中的n个采样点xi，i＝1,2,3,…,n，f(x)对应的Parzen窗口估计为：

(3)在对图像高光区域进行有效检测的前提下，提出一种基于偏振装置采集目标物体信息的图像去高光方法。以不同偏振角度下的图像信息为研究重点，提取出对应不同偏振角度下的图像高光区域像素，通过采用BP神经网络搭建模型使得对应高光区域像素的像素值以高斯分布函数形式进行有效降低，最后将此基于高斯分布的图像高光区域像素值降低模型应用于最优偏振角下的目标物体图像，能够深层次地削弱图像中存在的高光区域，通过如下步骤计算确定：

1)旋转CCD相机镜头前的偏振镜片，在旋转360°范围内采集得到最优目标物体偏振信息图像(对应物体成像表面光亮度最小)，依次旋转偏振镜片n次并采集不同偏振角度下目标物体偏振信息图像，将发明提出的高光区域检测算法应用于图像集并提取出对应高光区域像素值。

2)同样将本发明提出的高光区域检测算法应用于最优偏振图像，并提取出对应高光像素值，并对集合P和矩阵Q归一化。

3)记录偏振图像集与最优偏振图像对应的高光区域像素值区间，并在对应区间内产生服从高斯分布的随机数，随机数矩阵Y的维度与X矩阵一致。

4)将矩阵X的前n行向量作为BP神经网络的输入数据，同时将矩阵Y的前n行向量作为BP神经网络的输出数据，搭建神经网络模型并训练多次得到最优net。将矩阵X的第n+1行向量作为BP神经网络的输入数据，在net中得到对应输出数据PixelBP。用向量PixelBP的前m个数据组成的矩阵替换矩阵Q，即通过替换Itarget图像中高光区域像素实现较深层次的去高光效果，提取高光去除后图像中随机某几行的像素值，检查是否对高光区域像素对应的像素值进行了有效降低。

2

CN 111127384 A

说　明　书

基于偏振成像的强反射工件视觉测量方法

1/5页

技术领域

[0001]本发明属于测量技术与机器视觉领域，具体涉及一种基于偏振成像的强反射工件视觉测量方法。

背景技术

[0002]现代工业化的快速发展对生产线加工机械工件的实时在线检测提出了较高精度的要求，如何快速精准地对被测空间物体进行非接触式测量在机器视觉领域中一直是研究热点。传统接触式测量器具已经不能满足加工生产工件的多样性与表面复杂性，立体视觉非接触式测量系统通过不同视角下的空间物体图像采集，并提取出二维特征点像素坐标，转换到对应三维空间坐标系进而对被测空间物体进行三维信息重构并实现物体尺寸的非接触式测量，提高工业加工流水线的高效率生产与保障产品生产安全。受自然光照条件变化的影响，采集空间物体图像信息时，高光掩藏了物体固有颜色纹理特征，对后续立体视觉信息重构造成一定的干扰。本文研究基于偏振信息的立体视觉非接触式测量技术，目的在于提高目标物体的空间尺寸非接触式测量精度。

发明内容

[0003]本发明旨在克服现有技术中存在的诸多缺陷与制约，设计一种基于偏振成像的强反射工件视觉测量方法，实现图像高光区域的检测和消除。本发明通过如下技术方案实现：[0004]一种基于偏振成像的强反射工件视觉测量方法，包括：[0005](1)建立一个基于偏振信息的图像去高光系统.[0006](2)以一幅含有高光区域的彩色图像经过处理，获取图像高光区域。[0007](3)提出一种基于偏振装置采集目标物体信息的图像去高光方法。[0008]一个基于偏振成像的强反射工件视觉测量方法，包括：[0009]CCD相机，用于视觉系统中图像的拍摄。其对应最大分辨率/帧频为：1624×1224@29fps，像元尺寸为：4.4μm。线性偏振片PL，用来改变照片中的光的平衡。实验平台，便于CCD相机进行图像采集。高反射率金属工件，用于获取在自然光照条件下的高光图像。图像采集软件以及PC主机；[0010]本发明中，搭建了一个基于偏振信息的图像高光区域检测与消除系统，采集不同偏振角度下的目标物体图像，采取暗通道原色图像与Mean-Shift分割算法对高光区域进行检测，并搭建BP神经网络模型将对应不同偏振角度图像中高光区域像素集作为输入参量，采取高斯分布函数对高光区域像素点进行处理并归一化到漫反射像素区间，实验结果表明本文提出高光检测消除模型下的图像像素分布较为平滑，并且较好了高光区域像素。[0011]所述基于偏振成像的强反射工件视觉测量方法通过如下步骤编成计算确定：[0012]1、基于立体视觉测量系统多角度采集目标物体二维图像信息后，本发明在客观意义上提出一种基于暗黑通道先验算法的图像高光检测方法。暗黑通道先验算法即求解一幅彩色图像中某个像素在RGB三通道中的最小值。

3

CN 111127384 A[0013]

说　明　书

2/5页

一幅彩色图像中某个像素点在R、G、B三个通道中的像素值分别设为Pixel_R、

Pixel_G和Pixel_B，暗黑通道先验算法首先比较三个像素值的大小而后选择最小的像素值进行局部区域最小滤波，求取图像对应暗原色的数学模型表述为：

[0014]

式子(1)中，Jdark为暗原色图像，对应的图像像素强度数值很低并且趋近于0，即有Jdark→0，Jc为R、G、B通道图像，x为图像对应像素点位置，Ω(x)表示以x为中心的局部区域模块。[0016]相对于原始采集得到的彩色图像，经白平衡算法处理得到的图像在视觉效果上具备物体固有颜色特征，并且对应颜色直方图特征分布较为均匀，较为适合于后续的图像高光区域检测。为了较好地对彩色图像中的高光区域像素进行统计，引入Mean-Shift算法对图像进行聚类处理以突显出图像中存在的高光区域。Mean-Shift算法原理在于求解概率密度的局部最优解，一幅图像的像素点分布对应概率密度函数f(x)，已知d维空间中的n个采样点xi，i＝1,2,3,…,n，f(x)对应的Parzen窗口估计为：

[0015]

[0017]

[0018]

式子中K(x)为核函数，ω(xi)≥0对应着采样点xi，i＝1,2,3,…,n的权重。概率密

为：

度函数f(x)的梯度

[0019]

[0020]

令g(x)＝-k'(x)，G(x)＝g(||x||2)，则有：

[0021]

4

CN 111127384 A

说　明　书

3/5页

[0022]令即为Mean-Shift向量，其与概率密度梯度

成正比例关系。

[0023]对N做出以下修正，即：

[0024]

[0025][0026]

则有Mh(x)＝mh(x)-x，其与梯度上升的过程是一致的。

2、根据对图像高光区域进行有效检测的前提下，本发明提出一种基于偏振装置采集目标物体信息的图像去高光方法。本专利以不同偏振角度下的图像信息为研究重点，提取出对应不同偏振角度下的图像高光区域像素，通过采用BP神经网络搭建模型使得对应高光区域像素的像素值以高斯分布函数形式进行有效降低，最后将此基于高斯分布的图像高光区域像素值降低模型应用于最优偏振角下的目标物体图像，能够深层次地削弱图像中存在的高光区域。

[0027]1)旋转CCD相机镜头前的偏振镜片，在旋转360°范围内采集得到最优目标物体偏振信息图像(对应物体成像表面光亮度最小)，依次旋转偏振镜片n次并采集不同偏振角度θi(i＝1,2,3,…,n)下目标物体偏振信息图像，将发明提出的高光区域检测算法应用于图像集并提取出对应高光区域像素值，记为：

[0028]

2)同样将本发明提出的高光区域检测算法应用于最优偏振图像，并提取出对应高光像素值，并对集合P和矩阵Q归一化，则CCD相机采集偏振图像高光区域像素对应像素值矩阵为：

[0029]

[0030]

5

CN 111127384 A[0031]

说　明　书

4/5页

3)记录偏振图像集与最优偏振图像对应的高光区域像素值区间，并在对应区间内

产生服从高斯分布的随机数，随机数矩阵Y的维度与X矩阵一致，记作：

[0032]Y为(n+1)×N矩阵；

4)BP神经网络模型分为三层，输入层、隐藏层和输出层，首先输入数据为一个集合并且对应着BP神经网络的输入层，输入数据依赖于输入层与隐藏层之间随机的连接权重值作为隐藏层的输入，进而通过隐藏层与输出层之间随机的连接权重值抵达输出层，为BP神经网络的前向传播过程，此过程中产生的数据误差定义为某种偏导函数，在BP神经网络后向传播过程中对各个层之间的连接权重值进行调整使得全局误差系数最小，并提高神经网络模型的收敛性。将矩阵X的前n行向量作为BP神经网络的输入数据，同时将矩阵Y的前n行向量作为BP神经网络的输出数据，搭建神经网络模型并训练多次得到最优net。将矩阵X的第n+1行向量作为BP神经网络的输入数据，在net中得到对应输出数据PixelBP。用向量PixelBP的前m个数据组成的矩阵替换矩阵Q，即通过替换Itarget图像中高光区域像素实现较深层次的去高光效果，提取高光去除后图像中随机某几行的像素值，检查是否对高光区域像素对应的像素值进行了有效降低。

附图说明

[0034]图1为本发明所述的基于偏振信息的图像高光区域检测效果图[0035]图2为本发明所述的基于偏振信息的图像去高光效果图

[0036]图3为本发明所述的基于偏振信息的高光图像与无高光图像像素分布对比图具体实施方式[0037]以下附图

[0038]本发明提供了一种基于偏振成像的强反射工件视觉测量方法，此发明应用于偏振信息的立体视觉非接触式测量技术，目的在于提高目标物体的空间尺寸非接触式测量精度。

[0039]以下结合附图对本发明的具体实施作详细的描述。[0040]具体实施方式一：搭建基于偏振信息的图像高光区域检测与消除系统，采集不同偏振角度下的目标物体图像，采取暗通道原色图像与Mean-Shift分割算法对高光区域进行检测，并搭建BP神经网络模型将对应不同偏振角度图像中高光区域像素集作为输入参量，采取高斯分布函数对高光区域像素点进行处理并归一化到漫反射像素区间，结果表明本发明提出的高光检测消除模型下的图像像素分布较为平滑，并且较好了高光区域像素。[0041]本发明在提取出图像高光像素区间后，令原始彩色图像落在该区间像素点的像素值为1，落在区间外像素点的像素值为0，图片中高光检测效果图如图1所示。在对图像高光

[0033]

6

CN 111127384 A

说　明　书

5/5页

区域进行有效检测的前提下，本发明提出一种基于偏振装置采集目标物体信息的图像去高光方法。由于需要拍摄多个偏振角度下的目标物体图像，并且提取出对应不同偏振图像中的高光区域像素点，本发明引入BP神经网络模型对高维度高光区域像素矩阵进行优化训练，使其以高斯分布函数形式进行有效减低，进而实现图像高光区域较深层次的去除与图像质量优化。

[0042]图2中(a)图为去除高光区域后的目标物体图像，(b)图为对应图像行像素分布情况。本文随机提取出图像中对应行的像素值，可以观察到去除高光后的图像质量有了一定程度的改善，另外以高光图像与基于偏振信息去除高光区域后的图像进行对比，随机抽取图像中某行的像素值进行比较，对比图如图3所示。图3中给出了图像中随机四行像素对应的像素分布情况，可以看出：高光区域去除后的图像像素分布较为平滑，并且对应高光区域的亮像素得到了改善，由此可以验证本发明提出的基于偏振信息的图像高光去除算法具有一定的可行性与实践性。

7

CN 111127384 A

说　明　书　附　图

1/1页

图1

图2

图3

8