摘要:针对现有清晰度评价函数稳定性、精度不足,且易受噪声干扰等问题,提出一种基于最大类间方差和Canny算子的晶圆图像清晰度评价算法。对最大类间方差算法分割出的前景图像,使用Canny算子进行边缘检测。统计边缘点的个数和梯度幅值,并计算子图像的边缘点梯度幅值方差,以构建清晰度评价函数。实验结果表明,提出的算法具有较好的灵敏度、稳定性和抗噪性。
关键词:晶圆图像;清晰度评价;最大类间方差;Canny算子;
在机器视觉领域,清晰度是决定后续图像处理质量的最重要因素之一。图像采集时,清晰度会受到各种因素的影响,如离焦成像、镜头光学畸变、雾气模糊等。而聚焦是保证采集的图像清晰度满足要求的关键环节。基于机器视觉的自动聚焦方法无需加装距离测量设备,如激光测高传感器等。通过分析所采集的图像,即可自动评价当前视觉系统的离焦程度,判断是否在最佳焦平面。由于自动聚焦方法能够有效提高机器视觉系统的图像采集质量,已经被大量应用于电子工业专业设备。
自动聚焦的方式主要有有源方式(主动方式)和无源方式(被动方式)两种[1]。自动聚焦的结果是否理想,受清晰度评价函数影响很大。现有的清晰度评价函数[2][3][4]大多或者稳定性不好,或者精度不足,面对噪声的干扰,会出现聚焦不准,影响所采集图像的清晰度。为解决上述问题,本文提出了一种基于最大类间方差和Canny算子的清晰度评价(函数)算法,具有较高抗噪性和灵敏度。
1.清晰度评价函数和指标
清晰度评价函数通过对像素点进行数学运算,计算出评价指标数据,通过分析评价指标数据,判断图像高频分量的丢失程度,即图像的清晰程度。清晰度评价函数应具备无偏性、单峰性,同时还应该具有较高抗噪性和灵敏度[1]。
1.1 清晰度评价函数
清晰度评价函数有灰度变化函数、频域类函数、信息熵函数[1]。灰度变化函数主要考虑像素灰度变化;频域类函数大多基于图像的边缘高频分量;信息熵函数通过计算焦点附件图像的灰度熵来判断图像采集的准确聚焦位置。常用的清晰度评价函数有[1]:
(1)Variance方差函数
离焦图像的总体灰度值分布离散程度低,方差小;聚焦图像的总体灰度值分布离散程度高,方差大。因此可以用Variance方差函数[5]来表示图像灰度值分布的离散程度作为清晰度评价函数,如式(1)所示,
(1)
.png)
其中,是像素点处的灰度值,为图像的平均灰度值。
(2)Tenengrad评价函数
聚焦图像比离焦图像具有更尖锐的边缘,即边缘点的梯度函数值更大。Tenengrad梯度函数的值为Sobel算子所提取的水平和垂直方向的梯度值的平方和的平均值[5],如式(2)所示,
(2)
.png)
其中,是像素点处的梯度,是给定的边缘检测阈值,是检测出的边缘点个数。
(3)能量梯度函数
图像越清晰则细节越丰富,经傅里叶分解后的频率越多,能量梯度越大[1]。能量梯度函数[5]将像素点的x方向和y方向的相邻像素的灰度值之差的平方和作为其能量值,对所有像素点的能量值累加作为清晰度评价函数值,如式(3)所示,
(3)
.png)
其中,是像素点处的灰度值。能量梯度函数更适合实时评价图像清晰度。
(4)Roberts评价函数
Roberts评价函数[6]将如式(4)所示4个相邻像素点的灰度值之差的平方和作为像素点的梯度值,再对所有像素点的梯度值累加作为清晰度评价函数值。
(4)
.png)
其中,是像素点处的灰度值。Roberts评价函数同样更适合实时评价图像清晰度。
其它清晰度评价函数还有Brenner梯度函数、FSWM滤波函数、灰度方差乘积函数、Vollath函数、熵函数、EAV点锐度函数、NRSS梯度结构相似度函数等。
1.2 评价指标
清晰度评价函数除应具备无偏性、单峰性、抗噪性和灵敏度等定性指标外,还应使用一些定量指标来评估清晰度评价函数的性能,如清晰度比率、抗噪性因子和灵敏度因子等[1]。
(1)清晰度比率
聚焦过程中,一组图像的清晰度评价函数最大值与最小值的比值称为清晰度比率,如式(5)所示。
(5)
.png)
其中,是指聚焦函数所能取到的最大值,一般位于图像聚焦位置;即为聚焦函数最小值,一般位于深度离焦位置。越大,清晰度越高。
(2)抗噪性因子
由于噪声的原因,清晰度评价函数值变化平缓区域的函数值通常不会是单调递增或递减,二是可能会波动起伏。波动的平缓程度可以反映清晰度评价函数的抗噪性。基于此原理,抗噪性因子如式(6)所示,
(6)
.png)
其中,为在平缓区域的采样点数;抗噪性因子定义为个采样点的清晰度评价函数值的方差;为个采样点的清晰度评价函数值的平均,表示个采样点的清晰度评价函数值。
(3)灵敏度因子
焦点附近图像的清晰度评价函数值的变化较大。可将灵敏度因子定义为附近图像的清晰度评价函数值的变化情况,如式(7)所示,
(7)
.png)
其中,为清晰度评价函数值最大时对应的垂向坐标;是垂向坐标坐标变化量。
2.基于最大类间方差和Canny算子的清晰度评价函数
2.1 最大类间方差
最大类间方差法[7],又称Otsu算法,是一种自适应的阈值确定算法,常用于图像的背景和前景分割,其受图像亮度和对比度变化的影响较小。使用最大类间方差法分割的背景像素和前景像素的类间方差全局最大。
假设图像的尺寸为,中灰度值小于阈值的像素个数记作,灰度值大于的像素个数记作,则有式(8)如下所示,
(8)
其中,为前景像素点数,为前景像素点数占;为背景像素点数,为背景像素点数占比;,;为前景的平均灰度值;为背景的平均灰度值;为图像的平均灰度值;为类间方差。采用遍历的方法得到最大时的像素灰度值,即为阈值。
2.2 Canny算子
Canny算子力图在排除噪声干扰和精确定位边缘之间寻求折中,其基本思想是对图像进行高斯平滑滤波,并采用非极值抑制技术进行处理,得到的边缘。其步骤如下:
(1)利用高斯滤波器对进行平滑,得到高斯平滑后的图像,
(2)利用一阶差分卷积模板和计算的梯度幅值,如式(9)所示,
(9)
(3)找到梯度幅值为局部极大值的像素点,并抑制非局部极大值像素点,即将非局部极大值像素点置零,以得到细化边缘。具体为:对每一个像素点,如果其梯度值不比沿梯度线的两个邻域像素点梯度值大,则令该像素点像素值为0。
(4)用双阈值算法检测和连接边缘。对于双阈值和(),用于检测边缘线段,用于连接检测到的边缘线段。
2.3 清晰度评价函数
常用的灰度变化类清晰度评价函数仅使用一些固定方向的梯度值,如能量梯度函数和 Tenengrad评价函数使用水平方向和垂直方向的梯度,Roberts梯度函数使用正45°方向和负45°角度方向的梯度,而Brenner函数仅使用水平方向梯度[1]。然而,并不是所有的实际梯度方向都与固定的梯度方向重合,这就导致了清晰度评价函数值出现偏差。此外,背景像素和噪声会很大程度上影响常用的灰度变化类清晰度评价函数的灵敏度、实时性和抗噪性。
本文将图像分成个子图像,在每个子图像中分别采用Otsu算法自适应确定阈值。根据将第个子图像分割成前景和背景部分,然后在前景部分采用Canny算法检测边缘点,获得边缘点的个数、梯度幅值。计算第个子图像的边缘点梯度幅值的方差。则清晰度评价函数为:
(10)
.png)
3.实验与结果分析
实验以晶圆对准标识图像的采集为应用背景,对比了本文提出的清晰度评价函数、Tenengrad评价函数和Variance方差函数。使用每种函数,对晶圆对准标识进行了晶5次聚焦采集,取平均值。每次采集都经过“离聚离”的过程,采集25张图片,像素尺寸。为了验证提出函数的抗造性,对这些图片加入高斯白噪声,形成新的噪声实验图片。
实验结果如表1和表2所示,分别为未添加高斯白噪声和添加高斯白噪声后的清晰度比率、抗噪性因子和灵敏度因子值等评价指标。从实验结果可以看出,对于三种清晰度评价函数,无添加高斯白噪声时的性能评价指标都优于添加高斯白噪声时的情况。但在多次重复实验的情况,本文所提出的清晰度评价函数的评价指标相比Tenengrad评价函数和Variance方差函数均相对较好,具有更高的稳定性、灵敏度和抗造性,能够帮助更准确地完成图像聚焦采集任务。
表1 无添加噪声时的清晰度评价函数评价指标
.png)
4.结束语
针对现有清晰度评价函数稳定性、精度不足,且易受噪声干扰等问题,提出了一种基于最大类间方差和Canny算子的晶圆图像清晰度评价函数。在利用最大类间方差法将图像分割为前景和背景后,在前景图像中进行边缘检测,获得边缘点的数量和梯度幅值,并计算获得前景图像的各子图像的边缘点梯度幅值方差,这些方差之和即为提出的清晰度评价函数。通过与第2节介绍的六种现有清晰度评价函数进行实验比较,证明了所提出清晰度评价函数具有较高的灵敏度、稳定性和抗噪性,有助于更好的完成晶圆图像采集时的聚焦工作。
参考文献:
[1]包丞啸, 姜威, 王玉潇. 基于大津法分割和局部最大梯度的自动聚焦算法[J]. 光学技术, 2019, 45(6): 756-761.
[2]毕天华,杜文华.一种改进的Brenner清晰度评价函数[J].电子测量技术,2019, 42(09): 80-84.
[3]Mu Nan, Xu Xin, Zhang Xiaolong. Finding autofocus region in low contrast surveillance images using CNN-based saliency algorithm[J]. Pattern Recognition Letters, 2019, 125: 124-132.
[4]徐贵力, 刘小霞, 田裕鹏, 等.一种图像清晰度评价方法[J]. 红外与激光工程, 2009, 38(1): 180-184.
[5]毕超, 郝雪, 李剑飞, 等. 气膜孔图像对焦评价函数的实验研究[J]. 宇航计测技术, 2019, 39(6): 77-83.
[6]李雪, 江旻珊. 光学显微成像系统图像清晰度评价函数的对比[J]. 光学仪器, 2018, 40(1): 28-38.
[7]Otsu N. A Threshold selection method from gray-level histograms[J]. Automatica, 1975, 11: 23-27.
作者简介:林佳(1987-),男,山东潍坊人,博士,工程师,主要从事机器视觉、认知学习和电子工业专业设备方面的研究。