（2）数据处理阶段（数据分类与转换）

数据处理阶段是图像的预处理阶段，是采集图像的加工处理过程，为图像比对提供准确可靠的图片信息，主要包含了背景噪音减少，图像增强和锐化等过程。图像背景噪音减小一般为图像的低通滤波平滑法，图像增强和锐化则是提高被检测特征的对比度，突出图像中需要关注的特征，忽略不需要关注的部分，方法是图像二值化处理，经过二值化处理的图像数据量明显减少，能凸显出需要关注的轮廓。

首先滤波的定义是将信号中特定波段频率滤除的操作，是抑制和防止干扰的一项重要措施。在AOI检测中，噪声是造成图像退化的因素之一，起因是AOI图像获取，传输过程中，外界杂散光，光电二极管电子噪声及温度，光源的不稳定不均匀，机械系统的抖动，传感器温度等原因导致，不可避免的使得图像因含有噪音而变得模糊。给图像识别，图像切割等后续处理工作带来了困难。因此，为了获得真实的图像信息，除去噪声的滤波处理必不可少。

滤波的过程简单说就是图像平滑技术，空域滤波与频域滤波是滤波经常采用的方法。具体讲空域滤波是一种邻域处理方法，通过直接在图像空间中对邻域内像素进行处理，达到平滑或锐化，图像空间中增强图像的某些特征或者减弱图像的某些特征。频域滤波指的是允许或者限制一定的频率成分通过。在数字图像处理中，线性滤波通常是利用滤波模板与图像的空域进行卷积来实现。滤波的方法很多，要达到好的使用效果和目的，必须对图像中的噪音类型有所了解，才能做到有的放矢。

空域滤波中邻域处理平滑的具体方法有均值，中值和K领域均值三种，合理性各有利弊。 均值滤波是采用邻域平均法，基本思想是对一个像素和他临近区域的全体像素取平均值，然后把这个计算出来的均值赋予给输出的图像的相应像素，实现图像的平滑处理。属于线性滤波。 中值滤波是把一个像素点邻域窗口内的所有像素点灰阶值的中间值作为该像素点的灰阶值，是基于排序统计理论的信号处理技术，对于随机噪声处理能力好，属于典型的非线性滤波技术。K邻域均值滤波技术是结合了中间值滤波和均值滤波的特点，主要思想是在待处理像素点邻域内，找到一像素灰阶值最接近的K个像素点，计算这K个像素点灰阶均值来代替原像素点的灰阶值，对于孤立不规则的像素点起到很好的滤波作用。

图像的平滑除了在空间域中进行外，也可以在频率域中进行。频域滤波简单说就是在频域里，采用简单平均法求频谱的直流分量。可以构造一个低通滤波器，使低频分量顺利通过而有效地阻于高频分量，再经过反变换来取得平滑的图像。频域滤波可以分为高斯滤波，巴特沃斯滤波，梯形滤波等。由于噪声主要集中在高频部分，阻挡高频率噪声处理后就可达到平滑图像的目的。

除图像平滑处理外，图像增强处理也是图像预处理的常用方法，分为频域和空域两种。频域增强是在图像的变换域上对图像进行运算，然后再将计算后的图像进行逆向变换转到空间域。空域增强则是直接在空域对图像的像素进行运算处理，常见的是直方图处理和灰阶变化。空域增强的方法主要是直方图法，还有差影法和灰度变化法。

图像直方图（HE， Histogram Equalization）指图像中任意一个像素分布在某灰阶等级上的概率密度，反映出各个灰阶的分布概率，是一种经典的统计性质的图像增强处理法，用于增强动态范围偏小的图像反差，图像整体对比度得到明显增强。当选取合适的阈值做削波处理后，将有图像传感器产生的灰阶图像中低于该灰阶的部分与高于该灰阶的部分做绝对黑白灰阶处理，对比度得到大大增强，有利于缺陷的观察与判定。

合适阈值消波是根据不同应用场合有不同的阈值取值方法。二值化是最简单的处理方法，就是包像素点的灰阶值定义为0和255两种极端值，这样就可以让整个图像有突出的黑白效果，给图像设定适当的阈值，经过二值化处理后的图像数据量明显变少。此外还有全局阈值法，最小偏态法和自适应阈值等，全局阈值法是根据整个图像的灰阶值范围来决定，就是取灰阶平均值阈值作为唯一的阈值进行二值化处理，有时取整个图像的灰阶值的直方图，进而确定合适的阈值，一般情况下选择两个波峰之间的波谷最低位置作为图像二值化处理的阈值。

关于最小偏态法，是随机样本的数据平均值是样品的一阶统计距，衡量数据的平均值，样本的方差是样本的二阶统计中心距，用来衡量数据的离散程度，偏态是样本的三阶统计距，用来衡量数据的正太分布。当阈值取得合理时，被阈值划分后的背景与物体的灰阶值分布就会最接近正太分布。自适应阈值分割法，是加入了学习的方法，能够根据图像的不同，选择最优化的阈值。

直方图细分为直方图拉伸法和直方图均衡法，直方图拉伸法是通过对比度拉伸来调整直方图，进而增强前后景物的灰阶差实现增强效果；直方图均衡法是领用累积函数来修正灰阶值从而达到对比度增强的目的。直方图某种意思上也是图像分割的手段。直方图增强属于间接对比度增强方法，

差影处理法是将图像的背景去除来强化图像中新增加元素的差影处理手段。将标准图像部分与检测图像部分做差影处理，通过设定临界阈值也可以将图像中的缺陷部分找寻出来，是直方图二值化的另外一种表现形式 属于直接对比增强方法。

灰度变换法，灰阶变化是解决过度曝光或曝光不足而导致图像的灰阶值分布不均匀的问题，通过灰度变换包图像的灰度再一次均匀化来达到图像增强对比的效果，扩大了动态灰阶范围，突出图像的特征。

图像锐化处理是指补偿不清楚图像的轮廓，增强灰阶跳变的部分和图像的边缘， 因为图像平滑处理的同时也会破坏图像的边界轮廓，使得边界变得模糊。图像平滑的过程是一个积分或平均值的计算，因此，锐化就是其反方向的微分运算，具体方法有拉普拉斯算子，微分算子和Sobel算子。 拉普拉斯算子是欧几里得空间的一个二阶微分算子，表示为梯度的散度，在图像处理中被用于线性锐化滤波器使用。微分算子的物理意义，微分标识一个物理量的变化快慢，图像处理中微分预算的值愈大说明区域灰阶值的变化与快，边缘就会越突出。Sobel算子会产生一个相应的梯度矢量，包含了两组3X3的矩阵，横向与纵向。边缘模糊是图像中的高频分量被衰减，所以，采用高通滤波方法就可以让图像边缘清楚化。

关于频域增强方法是通过改变图像中不同频率分量来实现的，不同的滤波器滤除的频率和保留的保留的频率不同，可获得不同的增强效果，其方法步骤分为先将图像从图像空间转换到频域空间，如傅里叶变化，然后在频域空间对图像增强，如玉频率滤波器相乘， 最后增强后的图像再从频域空间转化到图像空间，做傅里叶的反变换。

（3）图像分析段（特征提取与模板比对）

图像分析阶段就是将图像中包含的边，角和区域等拥有独有属性的特征，使用数学手段通过编程实现图像属性的量化表达。进而进行图像的分割后比对完成分析处理。

边缘的表现形式是组成两个图像区域之间边界（或边缘）的像素。 表现为局部一维结构。实践中边缘一般被定义为图像中拥有大的梯度的点组成的子集，可以认为灰阶相同点的集合。角是图像中点的特征，在局部它有两维结构，现在的主流算法是直接在图像梯度中寻找高度曲率，可以在图像中本来没有角的地方发现具有同角一样的特征的区域。区域的表现形式是面形式的区域结构，区域的大小可能仅由一个像素组成，也可能是一个比较多的像素组成的面，如果面积比较大，则体现的形式即是灰阶值相同的区域。

特征提取的方法主要是HOG，LBP和HAAR三种主要手段，HOG （Histogram of Oriented Gradient）方向梯度直方分布图，它的大致做法是将归一化的图像分割为若干小块，再在每一小块内进行亮度梯度的直方统计，最后将所有区块的亮度梯度的直方统计串联起来，就构成图像的HOG特征；LBP（Local Binary Patterns）即局部二值模式，它通过遍历图像，将每一个像素点周围的像素与其相比较，比较值大于等于为1，比较值小于为0，得出四周的二值将这些二值连起来得到一个二进制的数，转换为10进制之后变为该像素的LBP值，所以LBP特征维度大小是和原图一样大的（边缘部分会做特殊处理）。Haar特征起初是用于人脸表示。它包括了三类特征边缘特征的线性，中心和对角线特征，组合成特征模板。特征模板内有白色和黑色两种矩形，该模板的特征值为白色矩形像素和减去黑色矩形像素和。Haar特征值反映了图像的灰度变化情况。

图像分割主要有两种方法：一是鉴于度量空间的灰度阈值分割法。它是根据图像灰度直方图来决定图像空间域像素聚类，但它只利用了图像灰度特征，并没有利用图像中的其它有用信息，使得分割结果对噪声十分敏感。二是空间域区域增长分割方法。它是对在某种意义上如灰度级、组织、梯度等具有相似性质的像素连通集构成分割区域。该方法有很好的分割效果，但缺点是运算复杂，处理速度慢。其它的方法还有如边缘追踪法、锥体图像数据结构法、标记松弛迭代法、基于知识的分割方法等等。  

特征提取后进入图像分析阶段的逻辑比较阶段，主要包含了模板匹配和模式分析二个方面。模板匹配就是先设定已知模板，已知模板是AOI检测中没有缺陷的实物影像或最小重复单元影像，通常情况下PCBAOI检测中以实物影像为已知模板，FPD AOI检测中则是最小重复单元。将采集到的图像与模板影像进行重合比对，然后平移到下一个单元进行同样比对，出现灰阶有差异的部分就被怀疑为缺陷，这里我们给灰阶差异设定一个阈值，当灰阶差超过设定阈值后，就被判定为真正的缺陷。从细节上讲，阈值的设定过于严格出现误判的概率就会增加，而阈值设定过于宽松漏检出的概率就会增加，因此，被检测物体的特征提取可以提高比对的对位精度，进而对检测结果起到了决定性的作用。

此外，缺陷部分是否上报时，系统算法主要有增加比对次数和范围（Multi check）。增加对比次数，也就是比对的维度从一维扩展到二维，甚至三维。以下图为例，当要判定红色单元是否为缺陷时，通常的算法是纵向或横向的一维比较，随着算法的逻辑关系的不断优化，先进行纵向重复模板对比，再增加横向，对角线，甚至更外围的模板比较，可以大大提高检测结果的准确度。

此外，模板比较时即便进行了多次数比较，仍有不容易判定的情况，这时可以追加多重判定算法，以下图为例，例如一种光源检测时所得到的信息往往是有限的，将多种光源扫描的信息合并在一起综合判定，会进一步提高判定的准确性。其中，典型的多角度判定方法之一是多重阈值设定模式（MTS：multi Thresholds system），针对不同缺陷物质的特性对不同波长光的敏感度不同分别设定阈值，一般采集不同光学波长下的灰阶值，并追加三者之间判定的逻辑关系达到提高检出正确性。在实际应用中，将以上方法相结合，通过对采集图像进行预处理去噪，对影响增强，进行多重逻辑关系判定可以达到很好的效果。

随着现代电子产品的高精细化发展，微小缺陷的检出要求越来越高，提高图像传感器解析度是一种比较直接的选择，对细微缺陷点，线宽有更强识别能力，但检测能力提升的同时，也必须考虑到设备成本问题，IP（image  processor）处理量大，数据处理能力要求高，甚至出现影响产能等负面问题，因此，不会单独提高硬件成本，搭配合适的光源，提高后台算法逻辑对同一缺陷进行复判是各AOI公司重点研发的方向。