一种基于图像处理的工件外观缺陷的视觉检测系统

1.一种基于图像处理的工件外观缺陷的视觉检测系统，其特征在于，包括工控机、同轴光源、CCD工业相机、图像采集卡和剔除机构；
同轴光源和剔除机构均与工控机相连；
CCD工业相机通过图像采集卡与工控机相连；
其中：同轴光源用于为待检测的工件提供漫反射光源；CCD工业相机用于拍摄处于检测工位的工件的图像；剔除机构用于从生产线上剔除通过检测存在缺陷的工件；
工控机中具有基于图像处理的缺陷检测模块；
基于图像处理的缺陷检测模块按照以下步骤实施缺陷检测：
步骤1：工件图像获取及预处理；
步骤2：图像分割与工件位姿矫正；
步骤3：检测以下外观缺陷：缺口、粘料、开裂、压痕、针眼、划痕和起泡；
步骤1中，通过同轴光源照明，利用CCD工业相机和图像采集卡采集工件图像f(x，y)，工件图像为灰度图像，然后把工件图像送入工控机进行预处理，预处理为对采集到的工件图像进行中值滤波处理；
步骤2中：
(1)图像分割：
基于直方图法对预处理后的图像进行图像分割，工件图像的灰度直方图会显示两个波峰：一个是作为前景的工件，一个是背景，取波谷灰度值为分割阈值以有效分割前景和背景：
式中，F(x，y)为分割出的工件图像，Thf为分割阈值
(2)图像矫正为通过仿射变换实现图像中工件的平移和旋转角度矫正；
步骤3中：
标定工件边缘为缺口检测区域，记为Regqk；
标定整个工件表面区域为粘料、开裂、压痕、针眼、划痕和起泡缺陷检测区域；其中粘料和针眼检测区域记为Regnl和Regzy；划痕和开裂检测区域记为Reghh和Regkl；压痕检测区域记为Regyh；起泡检测区域记为Regqp；
缺陷的面积判断阈值：
式中，Th为缺陷的面积判断阈值；φ为缺陷容忍度；W和H为图像中工件的宽和高，以像素为单位；M和N为工件的实际长和宽，以毫米为单位；
①缺口检测：
1)采用图像分割阈值Tqk在区域Regqk中分割缺口的Blob候选块，通过八连通区域标识出Blob连通域，记为Blqk；
分割阈值Tqk的确定：采用(2Dqk+1)×(2Dqk+1)的滤波掩码进行平滑处理，式中Dqk为缺口缺陷的直径；计算平滑后的图像灰度值的均值Meanqk(x，y)和标准差σqk(x，y)；由于缺口缺陷显示为暗像素，则选择Tqk＝Meanqk(x，y)-γqk·σqk(x，y)为分割阈值，γqk为缺口缺陷的标准差权重；
2)利用像素计数法提取Blqk连通域的像素面积特征Areaqk；根据下式判断Blqk是否为缺口缺陷：
式中，缺陷面积判断阈值Thqk由公式3确定，其中φ的取值范围是[0.0120，0.0130]，YES和N0分别表示存在缺口缺陷和不存在缺口缺陷；
②粘料和针眼检测：
1)采用分割阈值Tzz在区域Regnl和Regzy中分割粘料和针眼的Blob候选块，通过八连通区域标识出Blob连通域，记为Blnl和Blzy；
分割阈值Tzz的确定：
Tzz＝Mean′zz(x，y)-δzz·V′zz(x，y)
式中Mean′zz(x，y)和V′zz(x，y)为检测区域像素灰度值的均值和方差，δzz为粘料和针眼缺陷的方差权重；
图像中低于分割阈值的像素区域为缺陷候选块；
2)利用像素计数法提取Blnl连通域的像素面积特征Areanl和圆度特征Roundnessnl、Blzy连通域的像素面积特征Areazy和圆度特征Roundnesszy，根据下式5、6分别判断Blnl是否为粘料缺陷以及Blzy是否为针眼缺陷：
式中，缺陷面积判断阈值Thnl1和Thzy1由式3确定，其中φ的取值范围分别是[0.0020，
0.0021]和[0.0024，0.0025]；缺陷圆度判断阈值Thnl2和Thzy2的取值范围分别是[0.5，1]和[0.85，1]；∩表示逻辑“与”运算；YES和NO分别表示是和否；
像素面积特征即区域内的像素个数，圆度特征描述即目标区域的面积与外接圆面积的比值，形状越接近圆，比值越接近1，圆度特征的取值范围是：0＜Roundnessnl＜1，计算公式为 其中r为被提取目标的外接圆半径，此处的被提取目标指粘料和针
眼缺陷；
③划痕和开裂检测：
1)采用局部图像方差强度算法求取分割阈值Thk，在区域Reghh和Regkl中分割划痕和开裂的Blob块候选，通过八连通区域标识出Blob连通域，记为Blhh和Blkl；
局部图像方差强度是图像局部阈值概念的拓展延伸，由于被检测工件受生产工艺影响会有背景不均匀情况，因此很难找到固定阈值将目标缺陷与背景完整分割；故提出局部阈值检测方法，即局部灰度特征与整体相结合的方法；结合局部方差与方差的特性，先采用(2Dhk+1)×(2Dhk+1)的滤波掩码进行平滑处理，式中Dhk为划痕和开裂缺陷的长度；再计算平滑后图像灰度值的标准差σhk(x，y)和方差Vhk(x，y)；分割阈值按下式的确定：
其中σ′hk(x，y)和V′hk(x，y)表示平滑前的整幅图像的标准差和方差；
2)利用像素计数法提取Blhh连通域的像素面积特征Areahh和内部最长直径特征Diameterhh以及Blkl连通域的像素面积特征Areakl和内部最长直径特征Diameterkl；根据式
7、8分别判断Blhh是否为划痕缺陷，以及Blkl是否为开裂缺陷：
式中，缺陷面积判断阈值Thhh1和Thkl1由式3确定，其中φ的取值范围分别是[0.0110，
0.0120]和[0.0048，0.0049]；缺陷最长直径判断阈值Thhh2和Thkl2的取值范围由经验值确定；∩表示逻辑“与”运算；
内部最长直径即区域边界上最远的两个像素点的距离，距离和面积都是以像素为单位，即该距离内或该区域内包含的像素个数；
④压痕检测：
1)通过拉普拉斯高斯变换算法和局部动态阈值Tyh分割压痕的Blob候选块；
Tyh的确定：采用(2Dyh+1)×(2Dyh+1)的滤波掩码进行平滑处理，式中Dyh为压痕缺陷的直径；计算平滑后图像灰度值的均值Meanyh(x，y)和标准差σyh(x，y)；由于压痕缺陷在拉普拉斯高斯变换后的图像中显示为亮像素，故选择Tyh＝Meanyh(x，y)+γyh·σyh(x，y)为分割阈值，γyh为压痕缺陷的标准差权重；通过八连通区域标识出Blob连通域，记为Blyh；
2)利用像素计数法提取Blyh连通域的像素面积特征Areayh和矩形度特征Rectanyh，矩形度是描述被提取区域对其外接矩形的充满程度，计算公式为 其中Sm为被
提取区域外接矩形区域的面积；根据式9判断Blyh是否为压痕缺陷：
式中，面积判断阈值Thyh1由式3确定，其中φ的取值范围是[0.0160，0.0170]；矩形度判断阈值Thyh2的取值范围是[0.7，1]；∩表示逻辑“与”运算；
⑤起泡检测：
1)通过快速傅立叶变换将图像函数从空间域转变到频率域，采用低通滤波器平滑图像，再通过傅立叶逆变换将图像从频率域变换到空间域；根据图像灰度直方图，选取波谷灰度值为分割阈值分割目标分割起泡的Blob候选块，通过八连通区域标识出Blob连通域，记为Blqp；
2)利用像素计数法提取Blqp连通域的像素面积特征Areaqp和圆度特征Roundnessqp；根据式10判断Blqp是否为起泡缺陷：
式中，面积判断阈值Thqp1由式3确定，其中φ的取值范围是[0.0123，0.0124]；圆度判断阈值Thqp2的取值范围是[0.5，1]；∩表示逻辑“与”运算。
2.根据权利要求1所述的基于图像处理的工件外观缺陷的视觉检测系统，其特征在于，对矫正后的图像进行数学形态学处理；处理过程为，通过结构元素B对图像施加形态学开运算去除工件边缘毛刺，平滑工件边缘，有：
式中，为开运算运算符， 为腐蚀运算符， 为膨胀运算符，B为结构元素，大小为3，元素全为1，为圆盘结构。

一种基于图像处理的工件外观缺陷的视觉检测系统\n技术领域\n[0001] 本发明属于自动检测领域，特别涉及一种基于图像处理的工件外观缺陷的视觉检测系统。\n背景技术\n[0002] 金属工件的主要生产工艺流程为机械加工、冲压、精密铸造、粉末冶金、金属注射成型、尺寸检测、外观缺陷检测等。在整个生产过程中受到制造工艺的影响，工件尺寸和外观在一定程度上会存在不合格。其中外观缺陷主要包括：缺口、粘料、开裂、压痕、针眼、划痕和起泡等。存在外观质量缺陷的工件若流入下个生产工序，会导致组装受阻、变形，影响组装件的质量，严重时可能导致组装件报废而停机，极大地影响了自动化生产线的生产效率，给生产企业带来潜在的经济损失和信誉风险。\n[0003] 传统外观缺陷检测方法有人工目测和频闪光检测。自动化生产线速度很快，人眼根本无法快速捕捉到准确的缺陷信息，尤其一些很小的缺陷，人的肉眼完全无法分辨出合格与否，这就造成缺陷检测精度低、误检率高的问题。频闪光检测主要是根据人的视网膜对一定脉冲闪光所产生的静止反应。该方法是将特定的摄像机和频闪光源相结合，通过固定地观察检测器来确定工件表面情况。其缺点在于检测结果的可信度低，自动化检测程度也低。\n[0004] 自动检测技术有红外、祸流和漏磁检测技术，这三种检测方法也是我国目前应用比较广泛的。涡流检测技术主要是检测工件表面下层阻流缺陷，但其耗电量大，造成生产企业能源的浪费。涡流检测方法对工件本身质量要求比较高，工件表面必须纯净无杂质，温度均匀，输送带速度要求较慢，这就造成生产和检测受限，不能满足高速率、高质量的生产要求。近年来，机器视觉和图像处理技术的不断发展使得生产线上机器视觉检测代替人工检测成为可能。外观缺陷采用视觉方法检测识别是最有效、最有前景的方法。高分辨率工业相机可以提供丰富的工件外观图像信息，能够准确、高效、可靠地完成工件外观缺陷额检测和识别。\n[0005] 目前工件外观缺陷视觉检测的主要方法：(1)通过遗传算法和视觉图像处理形态学实现金属工件表面缺陷的自动检测，系统对开裂和针眼等检测效果良好，但细小划痕、压痕和起泡缺陷检测效果较差；(2)通过利用图像灰度特征，通过灰度值的异常变化来判断产品缺陷的存在，但由于金属表面的强反光性特性，使得系统误检较高。\n[0006] 因此，有必要设计一种高效的检测精度高的基于图像处理的工件外观缺陷的视觉检测系统。\n发明内容\n[0007] 本发明所要解决的技术问题是提供一种基于图像处理的工件外观缺陷的视觉检测系统，该基于图像处理的工件外观缺陷的视觉检测系统检测效率高，易于实施。\n[0008] 发明的技术解决方案如下：\n[0009] 一种基于图像处理的工件外观缺陷的视觉检测系统，其特征在于，包括工控机、同轴光源、CCD工业相机、图像采集卡和剔除机构；\n[0010] 同轴光源和剔除机构均与工控机相连；\n[0011] CCD工业相机通过图像采集卡与工控机相连；\n[0012] 其中：同轴光源用于为待检测的工件提供漫反射光源；CCD工业相机用于拍摄处于检测工位的工件的图像；剔除机构用于从生产线上剔除通过检测存在缺陷的工件；\n[0013] 工控机中具有基于图像处理的缺陷检测模块；\n[0014] 基于图像处理的缺陷检测模块按照以下步骤实施缺陷检测：\n[0015] 步骤1：工件图像获取及预处理；\n[0016] 步骤2：图像分割与工件位姿矫正；\n[0017] 步骤3：检测以下外观缺陷：缺口、粘料、开裂、压痕、针眼、划痕和起泡。\n[0018] 步骤1中，通过同轴光源照明，利用CCD工业相机和图像采集卡采集工件图像f(x，y)，工件图像为灰度图像，然后把工件图像送入工控机进行预处理，预处理为对采集到的工件图像进行中值滤波处理。\n[0019] 步骤2中：\n[0020] (1)图像分割：\n[0021] 基于直方图法对预处理后的图像进行图像分割，工件图像的灰度直方图会显示两个波峰：一个是作为前景的工件，一个是背景，取波谷灰度值为分割阈值以有效分割前景和背景：\n[0022]\n[0023] 式中，F(x,y)为分割出的工件图像，Thf为分割阈值\n[0024] (2)图像矫正为通过仿射变换实现图像中工件的平移和旋转角度矫正。仿射变换为现有成熟技术。\n[0025] 对矫正后的图像进行数学形态学处理；处理过程为，通过结构元素B对图像施加形态学开运算去除工件边缘毛刺，平滑工件边缘，有：\n[0026]\n[0027] 式中，为开运算运算符， 为腐蚀运算符， 为膨胀运算符，B为结构元素，大小为\n3，元素全为1，为圆盘结构。\n[0028] 步骤3中：\n[0029] 标定工件边缘为缺口检测区域，记为Regqk；\n[0030] 标定整个工件表面区域为粘料、开裂、压痕、针眼、划痕和起泡缺陷检测区域；其中粘料和针眼检测区域记为Regnl和Regzy；划痕和开裂检测区域记为Reghh和Regkl；压痕检测区域记为Regyh；起泡检测区域记为Regqp；\n[0031] 缺陷的面积判断阈值：\n[0032]\n[0033] 式中，Th为缺陷的面积判断阈值；φ为缺陷容忍度；W和H为图像中工件的宽和高，以像素为单位；M和N为工件的实际长和宽，以毫米为单位；\n[0034] 局部动态分割阈值确定方法：\n[0035] 首先采用(2D+1)×(2D+1)的滤波掩码进行平滑处理，式中D为被提取目标的直径；\n然后计算平滑后的图像灰度值的均值Mean(x,y)和标准差σ(x,y)；当被提取目标显示为亮像素时，选取T＝Mean(x，y)+γ·σ(x,y)为分割阈值；当被提取目标显示为暗像素时，选取T＝Mean(x,y)-γ·σ(x，y)为分割阈值，式中γ为标准差强度。\n[0036] ①缺口检测：\n[0037] 1)采用图像分割阈值Tqk在区域Regqk中分割缺口的Blob候选块，通过八连通区域标识出 Blob连通域，记为Blqk；\n[0038] 分割阈值Tqk的确定：采用(2Dqk+1)×(2Dqk+1)的滤波掩码进行平滑处理，式中Dqk为缺口缺陷的直径；计算平滑后的图像灰度值的均值Meanqk(x,y)和标准差σqk(x,y)；由于缺口缺陷显示为暗像素，则选择Tqk＝Meanqk(x,y)-γqk·σqk(x,y)为分割阈值,γqk为缺口缺陷的标准差权重。权重的取值范围是[0,1]，需根据先验知识确定具体值。\n[0039] 2)利用像素计数法提取Blqk连通域的像素面积特征Areaqk；根据下式判断Blqk是否为缺口缺陷：\n[0040]\n[0041] 式中，缺陷面积判断阈值Thqk由公式3确定，其中φ的取值范围是[0.0120,\n0.0130]，YES和NO分别表示存在缺口缺陷和不存在缺口缺陷；\n[0042] ②粘料和针眼检测：\n[0043] 1)采用分割阈值Tzz在区域Regnl和Regzy中分割粘料和针眼的Blob候选块，通过八连通区域标识出Blob连通域，记为Blnl和Blzy；\n[0044] 分割阈值Tzz的确定：\n[0045] Tzz＝Mean′zz(x,y)-δzz.V′zz(x，y)\n[0046] 式中Mean′zz(x,y)和V′zz(x,y)为检测区域像素灰度值的均值和方差，δzz为粘料和针眼缺陷的方差权重；\n[0047] 图像中低于分割阈值的像素区域为缺陷候选块；\n[0048] 2)利用像素计数法提取Blnl连通域的像素面积特征Areanl和圆度特征Roundnessnl、Blzy连通域的像素面积特征Areazy和圆度特征Roundnesszy,根据下式5、6分别判断Blnl是否为粘料缺陷以及Blzy是否为针眼缺陷：\n[0049]\n[0050]\n[0051] 式中，缺陷面积判断阈值Thnl1和 Thzy1由式3确定，其中φ的取值范围分别是[0.0020,0.0021]和[0.0024,0.0025]；缺陷圆度判断阈值Thnl2和Thzy2的取值范围分别是[0.5,1]和[0.85,1]；∩表示逻辑“与”运算；YES和NO分别表示是和否；\n[0052] 像素面积特征即区域内的像素个数,圆度特征描述即目标区域的面积与外接圆面积的比值，形状越接近圆，比值越接近1，圆度特征的取值范围是:0