针对锯片缺陷检测的机器视觉系统设计.doc

基于机器视觉的锯片缺陷检测设计 摘要：机器视觉检测技术具有非接触、高效、准确等优点，它符合现代工业生产的 发展需要，本文相对于传统方法提出了针对锯片缺陷的机器视觉检测技术，并在现 有的实验条件下进行研究和分析。首先阐述了此课题的背景和意义以及机器视觉技 术在国内外的发展和应用现状，介绍了机器视觉检测系统的各硬件和软件的主要构 成部分及其作用，系统主要通过镜头、摄像机，图像采集卡等完成图像的采集，再 借助比较成熟的图像处理算法，包括亚像素精度阀值分割、几何基元的分割、轮廓 特征提取、线段拟合等，以 Halcon 为实验软件平台实现图像的处理并输出结果。通 过软硬件的合理搭配完成对锯片缺陷检测的机器视觉系统设计，提高工业生产检测 效率。 关键词：机器视觉； 图像处理； 锯片检测； HALCON 目 录 第 1 章 绪 论1 1.1 机器视觉概述1 1.2 机器视觉的国内外发展现状2 1.3 本文主要研究内容3 第 2 章 锯片缺陷检测系统的硬件设计4 2.1 引言4 2.2 检测原理4 2.3 采集方案设计5 2.3.1 选择光源.5 2.3.2 选择照明方式.6 2.3.3 选择照明环境.10 2.3.4 选择相机.11 2.3.5 选择镜头.12 2.3.6 选择图像采集卡.12 第 3 章 软件算法研究及实验设计15 3.1 机器视觉软件 HALCON 15 3.1.1 HALCON 概述.15 3.1.2 HALCON 的体系和数据结构.16 3.2 图像处理算法17 3.2.1 图像分割.17 3.2.2 特征提取.21 3.2.3 几何基元的分割和拟合.24 3.3 实验设计28 3.3.1 锯片检测算法流程.28 3.3.2 算法编程实现.28 3.3.3 实验结果分析.31 3.4 本章小结32 结论与展望33 参考文献35 附录附录36 0 第 1 章 绪 论 1.1 机器视觉概述 机器视觉技术是指利用各种成像系统来代替人的视觉功能，将摄取的客观事物 转变为图像信号，并由计算机对图像信息进行处理和理解，进而产生数字信号来用 于实际检测、测量和控制，也就是用计算机来实现对客观三维世界的感知和认识。 主要包括图像的获取、处理、分析、输出和显示等方面的研究。 机器视觉是一项综合技术，包括数字图像处理技术、机械工程技术、控制技术、 电光源照明技术，光学成像技术、传感器技术、模拟与数字视频技术、计算机软硬 件技术、人机接口技术等。因此，机器视觉技术具有提高生产的柔性和自动化程度 的特点。常用其来替代人工在一些艰苦且危险工作环境或人工视觉难以满足要求的 场合中进行作业，同时在大批量工业生产过程中，用人工视觉检查产品质量效率低 且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。 机器视觉技术作为计算机科学的一个重要分支，在近 30 年中得到迅猛的发展， 己被应用到许多领域，如遥感、生物医学、通信、工业、航空航天、军事、安全保 卫等。通过计算机技术向无损检测技术的交叉和渗透，机器视觉技术已成为无损检 测技术中的主力军。 1.2 机器视觉的国内外发展现状 1973 年，美国自然科学基金会(NFS)制定了发展视觉系统和机器人的计划，并 在普度、斯坦福等大学率先展开研究1。在日本，同期也展开了研究，并成功的将 计算机视觉系统用于印刷电路板的质量检测。20 世纪 80 年代机器视觉系统进入发 展正轨，20 世纪 90 年代发展趋于成熟，20 世纪 90 年代后高速发展，目前正广泛应 用于工业、农业、科学研究、军事等各个领域。 国内的机器视觉起步比较晚，真正开始是在 20 世纪 80 年代。最近几十年，伴 随着全球经济一体化进程的加速， “中国制造”已经在世界范围内发挥着越来越重要 的作用。面对着用户们对产品更高的要求和期待，中国制造业在不遗余力的完善自 己的技术和设备。在这种大背景下，机器视觉技术在中国进入了一个快速发展的时 期。更多的公司在寻求利用机器视觉技术来提高生产效率，改善产品质量并降低生 产成本。但是，由于基础薄弱，中国的机器视觉技术水平与发达国家还有不小差距。 1 应该说，机器视觉作为一种应用系统，其功能特点是随着工业自动化的发展而 逐渐完善和发展的。其技术与应用也随着自动化行业的发展而日益成熟。据悉， 2007 年全球机器视觉硬件市场预计总价值超过 15 亿美元，而 2012 年这一数字估计 将达到 21 亿。按照每年 8.8%的增长速度，目前全球整个视觉市场总量大概在 60 70 亿美元。而在中国，这个数字目前看来似乎有些庞大，但是随着加工制造业的发 展，中国对于机器视觉的需求将成上升趋势。 1.3 本文主要研究内容 本文主要研究机器视觉检测系统中各硬件的作用和选型、图像的处理算法及软 件程序代码分析等方面关键技术，以 halcon 软件为实验平台，利用机器视觉检测技 术，实现锯片尺寸缺陷的提取和检测。论文具体研究工作可以概括为以下几个部分: 1概述机器视觉检测技术的发展和前景，以及在实际生产应用中的特点和优势。 2研究机器视觉检测系统中各关键部分硬件设备的作用和设备型号的选用，包 括相机、镜头、图像采集卡以及照明模块。通过各部分硬件设备的合理搭配，保证 了系统能采集到优质目标初始图像，从而简化后续图像处理过程，提高检测效率和 质量。 3实现锯片缺陷的检测。以锯片锯齿两侧的坡口角度缺陷的检测做为机器视觉 锯片缺陷检测的一个应用，借助比较成熟的图象处理技术和算法，包括亚像素精度 阀值分割、几何基元的分割、轮廓特征提取、线段拟合，以 Halcon 软件为实验平台， 编写程序代码，对采集的初始图象进行处理，提取出锯片锯齿两侧的坡口特征，实 现坡口角度的测量。 2 第 2 章 锯片缺陷检测系统的硬件设计 2.1 引言 机器视觉检测系统要求在生产线正常运行的情况下能实时地、无遗漏地检测出 锯片上主要的缺陷类型，在参照产品质量等级评定标准的基础上通过统计分析，评 价出产品的质量状况，并将产品质量等级提供给质量控制部门，作为其决策的依据。 形状和尺寸检测用于检测产品的几何参数来保障其在允许的公差范围。这种检 测可用于生产过程中；也可以用于产品使用一段时间之后，通过检测来确认产品经 磨损后是否仍然满足要求。 2.2 检测原理 机器视觉检测系统构成如图 2-1 所示，系统主要分为两大部分即图像采集部分 和图像处理部分。图像采集系统一般由光源组成的照明系统、镜头、CCD 摄像机等 组成，而图像处理系统则通过编写软件算法实现。在一定的光照(包括可见光，红外 线等各类光源)条件下，成像设备将物体成像并放大，然后由图像采集系统将数字图 像信号送入计算机内，形成二维灰度矩阵(即原始图像)，图像处理单元首先对采集 到的原始图像进行预处理以改善图像的质量，然后通过边缘检测进行边缘定位，再 进行缺陷的特征提取，最后构建分类器进行特征的识别完成对图像的分析，达到所 要求的测试任务。 照明系统 被测对象 图像处理系统 计算机 图像 成像设备 结果存储 图图 2-1 机器视觉的系统构成机器视觉的系统构成 3 整个系统由两部分组成：硬件系统和软件系统。其中硬件系统的主要任务是要 实时采集锯片图像，并将图像信息转变为计算机所能识别的数字信号。软件系统的 主要任务是对采集到的图像进行相应的处理、缺陷识别和数据存储。其核心部分是 图像处理系统。 为搭建出用于本课题研究的锯片缺陷检测系统，首先必须根据系统分辨率和检测 精度的要求合理地选择检测系统的图像成像、图像采集及图像处理等硬件单元。 2.3 采集方案设计 2.3.1 选择光源 （1）光源的分类 光源主要包括自然光源和人工光源2。自然光源是指太阳、月亮等自然界存在 的发光体，这些光源对地面辐射不稳定，难以控制。人工光源是人为将其他形式的 能量（热能、电能、化学能）转换成光能，从而提供光通量的器件设备。按照发光 原理的不同，人工光源一般可分为热致发光光源、气体放电光源、固体照明光源和 激光光源等不同类型。 （2）机器视觉检测常用光源 机器视觉工业检测中常用的光源主要有白炽灯、荧光灯、金卤灯、LED 光源以 及其他特殊光源(如激光、紫外光光源)等，综合机器视觉工业检测中典型光源各自 特点，可将其归纳如表 2-1 所示。 表表 2-1 人工光源的分类人工光源的分类 典型光源特点 钨光源采用交流电源存在工频问题：照度不均匀；产热多 荧光灯需配合高频电路，产生很大均匀照度场，热量不多：光谱分布存在极限 卤钨灯光强可达稳定；光强的角度分布可调，但光强会因为散射和反射损失； 价格昂贵 放电灯较高的发光强度，发光度在时间上恒定；光谱可能连续或离散，取决于 照明气体；可用于频闪观测照明；价格昂贵 LED 灯及时起作用；具有单色特点；价格合理，体积小，重量轻，寿命长，热 量少，没有噪声和振动；可作供给光源 激光较高的光强，单色性好，想干性好、准直度高 4 （3）选择光源 实际上，在机器视觉工业检测中选择照明光源环节，必须综合考虑不同应用场 合各自的特点以及工作条件影响。只有这样才能选择出合适的照明光源，而这个过 程往往需要大量经验和实验数据分析结果作为选择依据。 通过总结大量文献中锯片缺陷检测光源选择的经验，并结合课题中锯片的表面 缺陷特点以及 LED 光源特点的综合考虑，本文确定选用 LED 光源作为照明光源， 光源的选择直接影响到采集到的图像质量以及缺陷是否能在图像中明显表露出来。 系统选用白色高亮 LED 光源作为照明光源，这是因为， 响应时间短，发光效率高，光强稳定分布均匀; 形状可以根据需要进行改变; 光源颜色丰富，有红、蓝、绿、白。不同的颜色对应不同的波长，所以 LED 光源与相机匹配的峰值响应范围广; 寿命长，可靠耐用。 2.3.2 选择照明方式 除照明光源外，照明系统考虑的另一个重要因素就是照明方式。不同的照明方 式针对特定的检测场合往往有不同的成像效果，也就是说对于不同的工业检测场合， 不同的照明方式对于检测效果的影响是不同的，应该选择恰当的照明方式用于检测。 因此，首先需要明白照明方式的种类以及不同种类照明方法的使用范围，然后结合 课题检测对象的需要选择可能的照明方式配合光源确定出合适的照明方法。 根据相机、光源、被测对象之间的位置关系不同，照明方式主要分为背景光照 明、前景光照明、同轴光照明三种不同方式。 （1）背景光照明 背景光照明方式是指将被测物置于相机和光源之间，如图 2-2 所示。 5 图图 2-2 背景光照明示意图背景光照明示意图 这种照明方式的优点在于它可将被测对象的边缘轮廓清晰地勾勒出来。因此， 这种照明方式常常被用于检测工件的整体轮廓和加工尺寸以及模板匹配，Blob 分析 等方面的应用。利用背景光照明检测的图像中，被测对象所遮挡的部分呈现为暗色， 而未被遮挡的部分呈现为亮色，容易形成“明暗分明”的图像，这对利用机器视觉 系统检测分析十分有利。 （2）前景光照明 前景光照明方式是指将灯源置于被测物与相机之前。根据光源与被测物待测表 面夹角大小的不同可以将其分为“高角度照明”和“低角度照明”两种方式。根据 经验，这个夹角的分界线一般为 45°，小于 45°为低角度照明，大于 45°为高角 度照明。根据光源、摄像机及待检测物三者的相对位置，可以将其分为明域照明和 暗域照明。 高角度和低角度照明示意图如图 2-3 所示。低角度照明方式主要用于检测被测 对象表面凹凸部分，如:轮廓、边界、表面刻字、划伤等;高角度照明方式常用于检测 工件上丝印、商标、条码、字符等。高、低角度照明实例如图 2-4 所示。 高角度照明 低角度照明 图图 2-3 高、低角度照明示意图高、低角度照明示意图 高角度照明 低角度照明 图图 2-4 高、低角度照明实例高、低角度照明实例 6 明域照明方式是指相机放置在光源反射光路上的照明方式；暗域照明方式是指 相机放置在与光源入射光几乎平行方向上的照明方式。明、暗域照明方式的示意图 如图 2-5 所示 明域照明 暗域照明 图图 2-5 明、暗域照明方式示意图口明、暗域照明方式示意图口 明域照明主要用于散射和吸收光线缺陷类型的检测，在大多数明域照明图像中， 背景亮，缺陷暗。暗域照明主要用于光滑工件表面上含有散射光的缺陷类型检测3。 在大多数暗域照明采集的图像中，背景暗，仅仅缺陷可见。暗域照明常被用于检测 表面污垢和表面突起的特征。 经过前人的实验研究总结得出，一般情况下，翘边、结合不良、掉角、麻坑等 为明域照明能够检测出的缺陷；裂纹、折印、孔洞、砂眼、划痕、刀纹等为暗域照 明能够检测出的缺陷。明、暗域照明实例如图 2-6 所示。 明域照明 暗域照明 图图 2-6 明暗域照明实例明暗域照明实例 （3）同轴光照明 同轴光照明方式是指光源置于被测物与相机之间的照明方式，照明示意图如图 2-7 所示。同轴光照明主要用来检测表面光滑的平面物体，能够清楚的显现出表面特 征或是减少阴影。同轴光照明实例如图 2-8 所示， 7 图图 2-7 同轴光照明示意图同轴光照明示意图 光盘反光表面上的细微划痕 透明表面上的凹痕 图图 2-8 同轴光照明实例同轴光照明实例 通过以上分析可知，针对锯片缺陷的检测，在 LED 灯作为照明光源条件下，从 锯片轮廓中可以得到基本信息，锯片厚度很薄，可以采用漫反射背光照明方式对锯 片进行照明，这种照明方式，是将被测物置于相机与光源之间(如图 2-9 所示)。采用 这种照明方法可以获得比较清晰精确的边缘。 图图 2-9 背光方式背光方式 图 2-10 显示的就是通过这种照明方式采集到的锯片图像。 相机 被测物 光源 8 图图 2-10 背光照明方式采集到的锯片图像背光照明方式采集到的锯片图像 2.3.3 选择照明环境 现在工业上一般用的比较多的有两种不同的照明方式：明室照明和暗室照明。 （1）明室照明 明室照明也有两种情况：平行光源照明和漫射光源照明4。平行光源照明的原 理是当平行光照射到没有缺陷的光滑表面上时，只产生少部分的漫反射光进入相机， 在像敏面上成像。而当平行光照射在有缺陷的地方，将产生大量的反射光在相机的 像敏面上成像。漫射光源照明的原理是利用半透明磨砂玻璃灯罩、乳白罩或特制的 格栅，使光线向多个方向的漫射。这样产生的光线柔和，可以有效的消除阴影，减 少镜面反射的影响，得到一个均匀照明的区域。同时，这样还可以扩大照明光线的 覆盖范围。这两种照明方式相比，采用平行光源照明所得的图像的灰度级差别较大、 图像清晰，明暗对比度也比较高，这是它的优点。但是，由于平行光良好的方向性， 它的辐射亮度在各个方向上并不对称，因此，缺陷是否清晰与它们自身的方向有很 大的关系。通常情况下，当它们的方向与平行光方向互相垂直时，缺陷最为清晰。 而当它们的方向与平行光互相平行时，就几乎看不到这种缺陷。这是采用平行光源 照明的缺点。 （2）暗室照明 暗室照明理论最初来自于摄影胶片的冲印室。所谓暗室，就是在特殊的光线条 件下的工作室。暗室一般设计成一个半封闭的空间，这样可以有效的阻挡杂散光和 外来光线的干扰。针对不同的被拍摄物体，特别是透明半透明的玻璃状物体，在暗 室的不同位置放置合适的光源或者开个小孔，能够制造出合适的照明环境，排除外 界杂散光源的干扰，获得高质量的图片。暗室照明比较适合用于透明物体的缺陷检 9 测，如折印、刮痕等等。 显然，经过上面的分析可知，锯片缺陷的检测照明宜采用暗室照明环境。 2.3.4 选择相机 机器视觉系统获取图像的主要部件是摄像机。摄像机的作用是将通过镜头聚焦 光线，生成图像。下面我们对摄像机进行详细的分析和选择。 （1）相机的分类 相机作为机器视觉检测中图像获取关键设备，它作用的重要性不一言而喻。而 市面上相机的品种繁多，只有根据需要选择合适的相机才能更好的完成机器视觉检 测。 摄像机按照拍摄出的照片的颜色可以分为彩色摄像机和黑白摄像机。同等价位 的情况下，黑白摄像机具有分辨率较高、信噪比较高，对原物体的亮度信息的反映 更好的优点。而且一般来说，选用黑白摄像机就足以胜任大部分的应用场合。按图 像传感器的不同又可分为 CCD 摄像机和 CMOS 摄像机。两者的图像传感器均采用 相同的光敏材料，光电转换的原理相同。不同的是从芯片中读出数据的方式，即读 出结构不同。CCD 技术已发展的较为成熟，采用二氧化硅隔离层或者 PN 结来隔离 噪声。相对 CMOS 来说，在成像质量上有一定优势。 综合工业应用图像传感器研究的发展趋势以及 CCD 图像传感器的自身优势，课 题选择应用基于 CCD 图像传感器的面阵相机进行机器视觉锯片缺陷检测技术的研究。 （2）CCD 相机的选用 CCD(电荷耦合器件)是由具有光电效应的半导体器件组成的一个面阵单元5。通 过 CCD 图像传感器采集图像，把目标的三维图像采集为二维图像，通过光信号转换 成电信号，即所谓的模拟信号，再由图像采集卡把电信号转化成数字信号，供计算 机处理。 CCD 根据图像颜色来分有单色 CCD 和彩色 CCD。单色 CCD 输出图像是单色 的，彩色 CCD 输出图像是彩色的。 CCD 根据传感器格式来分，可以分为线阵和面阵两种。线阵 CCD 每次只能得 到一条线上的光学信息，其分辨率高。面阵 CCD 由排成方阵的感光像元组成，可直 接得到二维图像。一般应用于成像速度要求不高，一次成像的场合。面阵 CCD 可同 时获取轴类零件 XY 两个方向的信息，信息最大，为轴类零件的基本尺寸测量提供 10 了足够的信息。面阵 CCD 采用静态采像技术，不再需要扫描工作台。 因此，综合上述考虑和基于本课题的技术要求，本测量系统摄像机选用 AVT Marlin F046-C CCD 摄像机。其性能参数是帧扫描速率为 53 帧/秒；采用行扫描的方 式进行；CCD 尺寸大小为 1/3；镜头接口为 C 接口；图像分辨率为 780×582 pixel； 快门速度为 1/241/10000。 2.3.5 选择镜头 相机的镜头类似于人眼的晶状体。如果没有晶状体，人眼看不到任何物体。同 理，没有镜头，相机就无法输出清晰的图像。在图像检测系统中，镜头的质量直接 影响到系统整体性能。一般情况下，选择镜头时需要考虑成像面、焦距、视角、工 作距离、视野和景深等参数。 焦距、工作距离、视野范围和成像面大小之间满足以下关系: F1=vxDV F2=hxDH （2-1） 其中:Fl、F:为水平和垂直方向焦距，镜头的实际焦距由 FI、F:中较小值确定:D 为最大工作距离，v*h 为像面的大小，而 v*H 为视野 FOV。由公式(2.1)可知:镜头的 焦距与视野成反比，而与最小工作距离成正比，镜头焦距越大，其视角、视野越小， 而工作距离越远。 课题中，我们必须根据检测的工作距离，即相机与锯片之间的距离，利用公式 (2.1)，计算出镜头的焦距，最终选择出合适型号的镜头。实验室检测的工作距离为 60cm，通过计算可得课题所需镜头的焦距为 18mm。我们最终选用 Icrovision 镜头 8mm 1:1.4 2/3” ，该配套镜头是变焦镜头，可以实现焦距在 8mm55mm 范围内 的焦距变换，它通用的 C 接口也比较方便未来与其他的工业摄像机相连接。 2.3.6 选择图像采集卡 相机捕获图像后，输出的模拟信息，不利于进行图像处理。因此，需要把模拟 图像转换成数字图像，进行高速的 A/D 转换。图像采集卡是图像采集部分和图像处 理部分的接口。常用的图像采集卡有三种：视觉采集卡、具有显示功能的视觉卡和 自带处理器的板卡。这三者之间的区别是视觉采集卡只负责采集传输图像；具有显 示功能的视觉卡就是在视觉采集卡的基础上加了个图像显示的功能；自带处理器的 板卡本身就带有处理器和进行图像处理的固化程序，它的图像处理可以在板卡中直 11 接运行。 选择什么样的板卡应据实际需求而定，一般来说，选择时需要综合考虑以下因 素： （1）相机支持：选用的相机与视觉卡是否匹配。通常考虑的因素有以下几个方 面：异步信号、不同分辨率的匹配、不同视频信号的匹配、逐行扫描和多频道。 （2）激发灯源：有相当一部分板卡带有灯源激发的功能。这不仅简化了编程人 员工作，缩短运行的时间，更重要的是这一功能可以使灯源更加有效地与相机同步 进行工作。 （3）图像存储：相机拍照的速度很快，但是系统进行图像处理的速度相对来讲 就慢的多。因此，在实际应用的过程中，经常会出现相机“等待”PC 的情况。有些 板卡采取了在片中另外开设一块内存作为图像处理的缓冲区的办法：采集到的图像 按照一定的顺序先暂存在图像处理缓冲区中，然后在一帧一帧传到 PC 进行处理。 文章根据实际需求和实验条件，最后决定采用 1394 采集卡作为图象采集和处理 单元。 在 pc 机上，1394 接口是一种常见的数字串口，IEEE1394 接口有 6 针和 4 针两 种类型。6 角形的接口为 6 针，小型四角形接口则为 4 针。IEEE1394 接口也称 Firewire 火线接口，是苹果公司开发的串行标准。同 USB 一样，IEEE1394 也支持外 设热插拔，可为外设提供电源，省去了外设自带的电源，能连接多个不同设备，支 持同步数据传输。由于它支持即插即用，就像 USB 一样，易用，减少用户的支持需 求。 1394 采集卡采集 AVI 格式到电脑这一过程是无损的，但是 AVI 格式文件比较 大不利于保存所以就得压缩成 MPEG 格式，而 AVI 到 MPEG 这一格式的转换却是 有损的，其损失程度的大小直接由电脑的配置情况及所用的软件所决定，并且还得 花大量的时间，而压缩卡一般是直接采集成 MPEG 格式的，因为其板卡上有自己的 压缩运算芯片，采集效果基本上对电脑配置情况没有什么依赖性，并且采集时间是 实时的。所以，带有硬压缩功能的 1394 采集卡，在相同电脑配置的情况下，硬件压 缩在压缩时间与压缩质量都要比较软件压缩胜出一筹。因此，在这里我们选用 1394 图像采集卡。 表表 2-1 系统硬件选择方案系统硬件选择方案 光源白色高亮 LED 光源 12 照明方式背景光照明方式 照明环境暗室照明环境 相机AVT Marlin F046-C CCD 摄像机 镜头Icrovision 镜头 8mm 1:1.4 2/3” 图像采集卡1394 图像采集卡 第 3 章 软件算法研究及实验设计 通过上面章节内容的阐述，我们在分析基于机器视觉锯片缺陷检测系统硬件选 择和搭配原则的基础上，确定了论文中用于锯片缺陷检测的相机、镜头、图像采集 卡以及照明模块，这些都是一个机器视觉检测系统硬件所必需的，它们是系统能采 集优质目标检测图像的保证。只有采集到好的用于检测的初始图像，才能简化后续 图像处理过程，提高检测效率和质量。机器视觉检测系统另一重要内容是后续图像 检测算法的处理，选择合适的软件运行平台，通过图像处理达到锯片缺陷提取，最 终实现机器视觉检测系统的特定应用。 3.1 机器视觉软件 HALCON 3.1.1 HALCON 概述 德国 MVtec 公司的图像处理软件 HALCON，是世界公认具有最佳效能的机器 视觉软件6。它发源自学术界，有别于市面一些商用软件包。事实上，这是一套图 像处理库，由一千多个各自独立的函数，以及底层的数据管理核心构成。其中包含 了各类滤波、色彩分析以及几何、数学变换、形态学计算分析、校正、分类、辨识、 形状搜索等等基本的几何以及图像计算功能，由于这些功能大多并非针对特定工作 设计的，因此只要用得到图像处理的地方，就可以用 HALCON 强大的计算分析能 力来完成工作。应用范围几乎没有限制，涵盖医学、遥感探测、监拎、及工业上的 各类自动化检测。近年来，由于机器视觉技术的发展，这种可以”取代人眼” ，对重 复工作不会疲劳，精度高且稳定的特质，促进了高科技业的发展，例如电子业产量 的大幅提升。而 MVTec 公司更是不断的与学术界合作，并且将最新的学术研究成果 纳入其中，不但使自己的技术处于业界领导地位，同时也将机器视觉技术推向更高 的境界。 13 机器视觉软件 HALCON 在世界范围内被广泛的使用，用户可以利用其开放式 结构快速开发图像处理和机器视觉应用。 一个专业的图像处理工具不只包含一个图像处理函数库。图像处理任务的解决 只是整个机器视觉解决方案的一部分，还包括处理控件和或者数据库连接等软件部 分，图像获取及其照明等硬件部分。因此，图像处理系统简单易用，并且能活嵌入 到开发项目中是非常重要的。Halcon 充分考虑到这些方面，它有如下的特点: 1HALCON 包含了一套交互式的程序设计接口 HDevelop，可在其中以 HALCON 程序代码直接编写、修改、执行程序，并且可以查看计算过程中的所有变 量，设计完成后，可以直接输出 C/ C+，或是 COM(visual basic)程序代码，嵌入到 应用程序程序中。 2HALCON 不限制取像设备，可以自行挑选合适的设备。原厂己提供了 4 0 余种相机的驱动，即使是尚未支持的相机，除了可以透过指针(pointer)轻易的抓取影 像，还可以利用 HALOCN 开放性的架构，自行编写 DLL 文件和系统连接。 3使用 HALCON 有最好的投资效益。这套软件支持的操作系统除了微软的 NT/XP/2000，还有 Linux, Solaris7, 181X6. 5, “1'ru64 UN1X5. 1 等等，当需要开发 出一套系统，就可以轻易转换作业平台，以符合需求。为了加快速度，还可以使用 多处理器的计算机，所编写的程序不必更动。 4使用 HALOCN，在设计人机接口时没有特别的限制，也不需要特别的可视 化组件，可以完全使用开发环境下的程序语言，例如 Mircosoft Visual Studio 等等， 架构自己的接口，最终用户看不到开发工具，而且在执行软件的机器上，只需要很 少的资源。 3.1.2 HALCON 的体系和数据结构 HALCON 的体系、数据结构、外触发机制是开放式的、高效率的。高效率的含 义是 HALCON 中提供的函数执行时间非常短，而且能够在其开发环境 HDevelop 中 直观的看到每条函数的执行时间。在很多复杂的机器视觉任务中，依然能够非常高 效的完成。 14 图图 3-1 HALCON 基本体系基本体系 如上图可以看出 HALCON 的基本体系。其主要部分是 HALCON 的图像处理库， 其中包含了大量的图像处理函数。这些图像处理函数通过外部程序接口（如 C、C+等）来实现其对应的功能。 HALCON 的函数： 对 HALCON 图像处理库的使用，是通过调用库内函数来实现的。HALCON 的 函数具有以下特点： 1，函数之间没有层次的，从软件体系结构来看，所有函数处于同一个层次上， 并行的。 2，函数可以按照针对 C+还是 COM 来进行逻辑划分，可以分为 C+类和 COM 类； 3，针对输入输出变量，函数具有标准的规则； 4，除了库提供的函数以外，用户根据自己的需要，可以自己创建 HALCON 函 数； 5，许多函数是自动并行处理的，在多处理器的 PC 中，处理一个比较大的图像 的时候，其处理速度会得到显著的提高； HALCON 有两个基本的参数类型，一个是图标型数据（例如图像等） ，另一个 是控制型数据（例如整型、句柄等） 。所有 HALCON 函数遵循一个标准的法则：输 入图标型数据则输出图标型数据；输入控制型数据则输出控制型数据。 3.2 图像处理算法 在本课题的机器视觉检测系统中，合理选择图像处理算法非常重要，检测软件 所使用的图像处理算法直接决定了检测效果的好坏以及检测花费的时间。合理选择 图像处理算法是指针对不同的被测产品、不同的图像以及检测要求选用合适的图像 15 处理算法。每个需要提取出的信息如边缘、形状、尺寸等都可以通过多种途径获得， 但仍然需要选择合适的算法使系统更精确、处理效率更高。在此针对锯片缺陷检测 系统涉及的图像处理算法进行详细的分析说明。基本思路为：首先从采集得到的原 始图像中提取锯片的轮廓，然后通过适当地分离轮廓得到每个锯齿，最后计算每个 锯齿两侧的坡口角度即可得出检测结果。 3.2.1 图像分割 为得到图像中的物体信息，我们必须进行图像分割，即提取图像中与感兴趣物 体相对应的那些区域。描述得更正式些，分割操作以一副图像作为输入而返回一个 或多个区域或亚像素轮廓作为输出。系统中所获取的锯片检测图像需要达到比此图 像像素分辨率更高的精度，因此从图像中提取亚像素精度数据是很重要的，亚像素 数据可以通过亚像素阀值分割或亚像素边缘提取来获得。这些处理得到的结果可以 用亚像素精度轮廓来表示。 (1)亚像素精度阀值分割 最简单的分割算法是图像的阀值分割。阀值分割操作被定义为： S=(r,c)Rgminfr,cgmax （3-1） 因此，阀值分割将图像 ROI R 内灰度值处于某一指定灰度值范围内全部点选到 输出区域 S 中。经常使用 gmin=0 或者 gmax=2b1。如果光照能保持恒定，阀值 gmin 和 gmax能在系统设置时被选定且永远不用被调整。既阀值分割是基于灰度值自身的， 所以只要被分割的物体和背景之间存在非常显著的灰度差时，都能使用阀值分割。 固定阀值仅在物体的灰度值和背景的灰度值不变时效果很好。但是，这种情况 发生的频率和期望的要少，比如，照明变化后的物体和背景的灰度值就会发生变化。 即便使用的照明是恒定不变的，相似物体间不同的灰度值分布也会固定阀值分割的 结果不理想。 一些应用需要的精准度要高于像素级别。因此，有时需要能返回亚像素精度结 果的算法。很显然，亚像素精度阀值分割处理的结果不能是一个区域，因为区域是 像素精度的。为此，表示结果的适当数据结构应是亚像素精度轮廓。此轮廓表示图 像中两个区域之间的边界，这两个区域中一个区域的灰度值大于灰度值阀值 gsub而 另一个区域的灰度值小于 gsub。为获取这个边界，我们必须将图像的离散表示转换 成一个连续函数。可以通过双线性插值公式： =b(ag11+(1a)g01)+(1b)(ag10+(1a)g00) (3-2)g 16 完成这种转换。一旦我们得到了表示图像的一个连续函数，从概念上，亚像素精度 阀值分割处理的结果就可以用常量函数 g(r,c)=gsub于图像函数 f(r,c)相交得到，为获 取有意义的轮廓，这些线段要被连接起来。可以通过反复地选取图像中第一个未被 处理的线段作为轮廓的第一段，然后跟踪临近的线段直到轮廓闭合、到达图像边界 或到达一个交点。此连线处理的结果通常是在图像内形成一个闭合的轮廓，此轮廓 围绕的区域内部的灰度值大于或者小于阀值。 (2)梯度算子 二维边缘存在着两种可能的定义，着两种定义并不是等价的7。对那些明显边 缘的提取需要在梯度量值的基础上进行一个阀值分割处理。因此，与由梯度量值最 大定义的边缘相比，由拉普拉斯算子过零定义的边缘需要计算更多的偏导数。所以， 对于二维我们将精力集中在梯度量值最大定义上，可以用有限差分来计算偏导数。 在二维中，有限差分是： Fr;i,j=(fi+1,jfi1,j) （3-3） 2 1 和 fc;i,j=(fi,j+1fi,j1) （3-4） 2 1 通常图像必须被平滑处理以便获得好的提取结果。对运算时间要求苛刻的那些应用， 滤波器掩码应该尽可能的小，及 3×3。通过适当地对系数进行按比例缩放，所有 3×3 边缘滤波器都能用如下形式表示 当 a=1 时，我们得到 Prewitt 滤波器。注意它在垂直于导数的方向上进行一个均值滤 波处理。当 a=时，就得到了 Frei 滤波器，当 a=2 时得到 Sobel 滤波器，此滤波2 器在垂直于导数的方向上执行一个近似于高斯平滑的处理。在上面三个滤波器中， Sobel 滤波器返回的结果最好，因为它使用了最好的平滑滤波器。 在质量相对较好的图像中以中等准确度快速搜索边缘时主要使用快速 3×3 边缘 滤波器。因为速度是重要的，而且由梯度向量的欧几里得长度（2-范数） （f2=）得到的梯度量值计算需要进行耗时的求平方根运算，所以 ff cr 22 梯度量值通常是用如下量值中的一个来计算的：1-范数f1=fr+fc或 1 0 1 a 0 a 1 0 1 1 a 1 0 0 0 1 a 1 (3-5) 17 者或者最大值范数f=max（fr,fc） 。此外，非最大抑制也是相对耗 时较多的处理所以常被忽略掉，只对梯度量值进行阀值分割。由于这将返回宽度大 于一个像素的边缘，所以阀值分割后的边缘区域要被骨架化。 在二维中，我们能通过计算最佳的平滑滤波器的偏导数来推导出最佳的边缘滤 波器，因为卷积操作的特性允许将求导计算移动到滤波器上8。所以，Canny 的最 理想的二维边缘滤波器可由高斯滤波器的偏导数得到。因为高斯滤波器是可分的， 所以其导数也是可分的： gr= (r) g(c) （3-6）2 g 、 和 gc=g(r) (c) （3-7）2 g 、 在二维应用 Deriche 滤波器，也需要滤波器的可分性作为前提。因此,对第一种 Deriche 滤波器的最理想二维 Deriche 滤波器由 d(r) d(c)和 d(r) d(c)计 算，而对第二种 Derich e 滤波器的最理想二维 Deriche 滤波器由 e(r) e(c) 和 e(r) e(c)计算得到。Canny 滤波器的优点是具有各项同性和旋转不变。它 的缺点是不能以递归方式来计算。因此，其执行时间由 决定的平滑程度来决定。 另一方面，虽然 Deriche 滤波器能以递归方式计算，其运行时间不受平滑参数 影 响。但是它们是各项异性的，即用其计算出的边缘幅度依赖于图像中边缘的角度。 (3)拉普拉斯算子 第二种边缘定义拉普拉斯算子过零9。由于过零也是一种特殊的阀值条件， 所以我们能用亚像素精度阀值分割处理来以亚像素精度进行边缘提取，为尽可能使 它更有效率，必须先在图像的整个 ROI 中计算边缘幅度，然后，对边缘幅度进行阀 值分割，并把分割的结果作为计算拉普拉斯算子和计算亚像素精度阀值分割时的 ROI。由普拉拉斯算子求得的边缘比用梯度量值求得的边缘更弯曲些，这是因为拉普 拉斯算子得到的边缘一定要经过真边缘上所有角点，所以后续处理更加困难些。 两阶微分算子是根据图像边缘处灰度值的二阶导数为零而提取边缘的。拉普拉 斯算子是典型的两阶微分算子。对一个连续函数 f(x,y)，它在位置 (x,y)的拉普拉 斯值定义如下： 2f= + （3-8） 2 2f x 2 2 y f 假设 i 对应 x 方向，j 对应 y 方向，使用差分方程对 x 和 y 方向的二阶偏导数 18 近似如下： 2= =fi+2,j2fi+1,j+fi,j （3-9） 2 2f x x )ji,-, 1( jif 将上式的中心点i+1,j移到i,j点可以得到二阶导数的近似式为： = fi+1,j 2fi,j +fi1,j （3-10） 2 2f x 同理可得： = fi,j+1 2fi,j +fi,j1 （3-11） 2 2 y f 根据上式可以得到两个方向上的近似拉普拉斯算子的模板： 2= （3-12） 01-0 1-41- 01-0 除以上的模板以外，还有其他的拉普拉斯算子模板，但是对模板有一个基本要 求:模板中心的系数为正，其余相邻系数为负，所有系数的和为零。 由于拉普拉