大尺寸工件的公差视觉检测方法、装置和计算设备论文和设计-刘坚

全文摘要

本发明公开了一种大尺寸工件的公差视觉检测方法，适于在计算设备中执行，所述方法包括步骤：获取大尺寸工件中某目标部位的图像，并从该图像中提取包含安装孔的感兴趣目标区域；分别提取目标部位和目标区域的亚像素边缘，并对提取到的亚像素边缘进行轮廓跟踪，得到多个特征轮廓；对多个特征轮廓进行直线型边缘和\/或椭圆弧型边缘拟合，得到线段集合和\/或椭圆弧集合；提取线段集合和\/或椭圆弧集合的至少一个特征点，并计算各特征点的工件坐标；以及根据各特征点的工件坐标计算目标部位及其中各安装孔的形位尺寸和公差。

主设计要求

1.一种大尺寸工件的公差视觉检测方法，适于在计算设备中执行，所述方法包括步骤：获取所述大尺寸工件中某目标部位的图像，并从该图像中提取包含安装孔的感兴趣目标区域；分别提取所述目标部位和目标区域的亚像素边缘，并对提取到的亚像素边缘进行轮廓跟踪，得到多个特征轮廓；对所述多个特征轮廓进行直线型边缘和\/或椭圆弧型边缘拟合，得到线段集合和\/或椭圆弧集合；提取所述线段集合和\/或椭圆弧集合的至少一个特征点，并计算各特征点的工件坐标；以及根据各特征点的工件坐标计算所述目标部位及其中各安装孔的形位尺寸和公差。

设计方案

1.一种大尺寸工件的公差视觉检测方法，适于在计算设备中执行，所述方法包括步骤：

获取所述大尺寸工件中某目标部位的图像，并从该图像中提取包含安装孔的感兴趣目标区域；

分别提取所述目标部位和目标区域的亚像素边缘，并对提取到的亚像素边缘进行轮廓跟踪，得到多个特征轮廓；

对所述多个特征轮廓进行直线型边缘和\/或椭圆弧型边缘拟合，得到线段集合和\/或椭圆弧集合；

提取所述线段集合和\/或椭圆弧集合的至少一个特征点，并计算各特征点的工件坐标；以及

根据各特征点的工件坐标计算所述目标部位及其中各安装孔的形位尺寸和公差。

2.如权利要求1所述的方法，还包括步骤：

综合所述大尺寸工件的不同目标部位及其中各安装孔的形位尺寸和公差，计算所述大尺寸工件的形位尺寸和公差。

3.如权利要求1所述的方法，其中，所述从该图像中提取包含安装孔的目标区域的步骤包括：

将所述目标部位的图像转换为灰度图像，对该灰度图像进行自适应阈值分割，并从分割后图像中提取所述目标区域。

4.如权利要求3所述的方法，还包括步骤：

对所述目标部位的图像进行畸变校正，以及对所述灰度图像进行滤波处理和形态学处理。

5.如权利要求1-4中任一项所述的方法，其中，所述对提取到的亚像素边缘进行轮廓跟踪的步骤包括：

对所提取到的亚像素边缘进行Freenman链码跟踪，并过滤噪声边缘，得到多个特征轮廓。

6.如权利要求5所述的方法，其中，所述过滤噪声边缘的步骤包括：

分别设定面积阈值和长度阈值，并将实际面积小于该面积阈值、或者实际长度小于该长度阈值的特征轮廓设定为噪声边缘。

7.一种大尺寸工件的公差视觉检测方法，适于在计算设备中执行，所述方法包括步骤：

获取所述大尺寸工件的序列图像，所述序列图像包括所述大尺寸工件的不同部位的图像；

分别采用如权利要求1-6中任一项所述的方法对每帧序列图像进行公差视觉检测，得到不同部位的形位尺寸和公差；以及

综合所有部位的尺寸形位和公差，计算所述大尺寸工件的形位尺寸和公差。

8.一种大尺寸工件的公差视觉检测装置，适于驻留在计算设备中，所述装置包括：

目标区域提取模块，适于获取所述大尺寸工件中某目标部位的图像，并从该图像中提取包含安装孔的感兴趣目标区域；

特征轮廓提取模块，适于分别提取所述目标部位和目标区域的亚像素边缘，并对提取到的亚像素边缘进行轮廓跟踪，得到多个特征轮廓；

特征轮廓拟合模块，适于对所述多个特征轮廓进行直线型边缘\/或圆弧形线段拟合，得到线段集合和\/或椭圆弧集合；

特征点提取模块，适于提取所述线段集合和\/或椭圆弧集合的至少一个特征点，并计算各特征点的工件坐标；以及

形位尺寸计算模块，适于根据各特征点的工件坐标计算所述目标部位及其中各安装孔的形位尺寸和公差。

9.一种计算设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被处理器执行时实现权利要求1-7任一项所述的方法的步骤。

10.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时实现权利要求1-7任一项所述的方法的步骤。

设计说明书

技术领域

本发明涉及视觉检测技术领域，尤其涉及一种大尺寸工件的公差视觉检测方法、装置和计算设备。

背景技术

大尺寸工件的尺寸与形位公差检测在机械制造领域有着越来越高的需求。特别是对工件表面安装孔的位置检测尤其重要。目前主流的检测方法包括人工和三坐标测量仪。人工方法需要采用专用的检测器具进行测量，存在成本高、效率低下、检测结果不准确、无法实现全检等诸多问题。而测量精度高的三坐标测量仪价格又非常昂贵，维护麻烦，应用有限。

由于机器视觉技术具有非接触、获取信息量大、性价比高、操作简便等优点被很多学者应用到尺寸检测领域，然而目前将及其视觉技术应用到大尺寸检测的领域研究却很少。大尺寸工件的尺寸测量主流方法为基于相机拍摄大尺寸件的序列图像，其采用图像拼接的方法获得大尺寸零件的全景图，最后根据该全景图标定的每个项目所对应的结果和标定的每像素所对应实际尺寸的大小，得出待测大尺寸零件的尺寸。但该方法的检测精度存在累计误差，检测精度不够，影响检测结果的准确性。

因此，需要提供一种检测精度更高的待测件尺寸检测方法。

发明内容

为此，本发明提供了一种大尺寸工件的公差视觉检测方法、装置和计算设备，以解决或至少缓解上面存在的问题。

根据本发明的一个方面，提供了一种大尺寸工件的公差视觉检测方法，适于在计算设备中执行，该方法包括步骤：获取大尺寸工件中某目标部位的图像，并从该图像中提取包含安装孔的感兴趣目标区域；分别提取目标部位和目标区域的亚像素边缘，并对提取到的亚像素边缘进行轮廓跟踪，得到多个特征轮廓；对多个特征轮廓进行直线型边缘和\/或椭圆弧型边缘拟合，得到线段集合和\/或椭圆弧集合；提取线段集合和\/或椭圆弧集合的至少一个特征点，并计算各特征点的工件坐标；以及根据各特征点的工件坐标计算目标部位及其中各安装孔的形位尺寸和公差。

可选地，在根据本发明的公差视觉检测方法中，还包括步骤：综合大尺寸工件的不同目标部位及其中各安装孔的形位尺寸和公差，计算大尺寸工件的形位尺寸和公差。

可选地，在根据本发明的公差视觉检测方法中，从该图像中提取包含安装孔的目标区域的步骤包括：将目标部位的图像转换为灰度图像，对该灰度图像进行自适应阈值分割，并从分割后图像中提取目标区域。

可选地，在根据本发明的公差视觉检测方法中，还包括步骤：对目标部位的图像进行畸变校正，以及对灰度图像进行滤波处理和形态学处理。

可选地，在根据本发明的公差视觉检测方法中，对提取到的亚像素边缘进行轮廓跟踪的步骤包括：对所提取到的亚像素边缘进行Freenman链码跟踪，并过滤噪声边缘，得到多个特征轮廓。

可选地，在根据本发明的公差视觉检测方法中，过滤噪声边缘的步骤包括：分别设定面积阈值和长度阈值，并将实际面积小于该面积阈值、或者实际长度小于该长度阈值的特征轮廓设定为噪声边缘。

可选地，在根据本发明的公差视觉检测方法中，还包括步骤：设定外接矩形长宽比的第一阈值和第二阈值，并将实际长宽比大于第二阈值的特征轮廓设定为直线型边缘，以及将实际长宽比小于第一阈值的特征轮廓设定为椭圆弧型边缘。

可选地，在根据本发明的公差视觉检测方法中，对多个特征轮廓进行直线型边缘\/或圆弧形线段拟合的步骤包括：对属于直线型边缘的特征轮廓进行直线型边缘剔除粗大误差点的最小二乘法拟合，得到线段集合；和\/或对属于椭圆弧型边缘的特征轮廓进行椭圆弧型边缘剔除粗大误差点的最小二乘法拟合，得到椭圆弧集合。

可选地，在根据本发明的公差视觉检测方法中，椭圆弧集合的特征点包括椭圆的中心点和各顶点，线段集合的特征点包括该线段集合中各线段的两个端点和中点。

可选地，在根据本发明的公差视觉检测方法中，获取大尺寸工件的某目标部位的图像的步骤包括：从相机中获取得到目标部位的图像，并获取相机在拍摄该图像时定位机器人测量头的工具坐标系；其中，相机在拍摄该图像时，由定位机器人根据测距传感器测得的距离信息来调整工业相机的工作距离，以保证相机的成像平面与大尺寸工件的待检测面平行。

可选地，在根据本发明的公差视觉检测方法中，计算设备中存储有工具坐标和工件坐标的转换关系，计算各特征点的工件坐标的步骤包括：根据各特征点的图像坐标来确定其工具坐标，并根据该转换关系计算各特征点的工件坐标。

可选地，在根据本发明的公差视觉检测方法中，工具坐标系的原点与图像坐标系的原点重合，且工具坐标系的xOy平面与图像坐标系所在的平面重合；该转换关系为：

C_{i<\/sub>＝R_{1<\/sub>·(Q·V_{i<\/sub>)+T_1<\/sub>}}}

可选地，在根据本发明的公差视觉检测装置中，目标部位及其中各安装孔的尺寸形位和公差包括目标部位的外形尺寸、目标部位中各安装孔的定位尺寸和外形尺寸、以及各尺寸的偏差。

可选地，在根据本发明的公差视觉检测装置中，目标部位的外形尺寸结合工件外轮廓线段的中心点计算得到；安装孔的外形尺寸结合安装孔的各顶点计算得到；安装孔的定位尺寸结合参考基准线段轮廓的中心点坐标和椭圆中心点坐标计算得到。

可选地，在根据本发明的公差视觉检测方法中，还包括步骤：设定尺寸测量参数的标识，该标识包括工件外形尺寸标识、各安装孔的定位尺寸标识和外形尺寸标识，并将各尺寸标识与计算得到的对应尺寸值进行关联存储。

根据本发明的又一方面，提供另一种大尺寸工件的公差视觉检测方法，适于在计算设备中执行，该方法包括步骤：获取大尺寸工件的序列图像，该序列图像包括大尺寸工件的不同部位的图像；分别采用如上所述的大尺寸工件的公差视觉检测方法对每帧序列图像进行公差视觉检测，得到不同部位的形位尺寸和公差；以及综合所有部位的形位尺寸和公差，计算大尺寸工件的形位尺寸和公差。

根据本发明的又一方面，提供一种大尺寸工件的公差视觉检测装置，适于驻留在计算设备中，该装置包括：目标区域提取模块，适于获取大尺寸工件中某目标部位的图像，并从该图像中提取包含安装孔的感兴趣目标区域；特征轮廓提取模块，适于分别提取目标部位和目标区域的亚像素边缘，并对提取到的亚像素边缘进行轮廓跟踪，得到多个特征轮廓；特征轮廓拟合模块，适于对多个特征轮廓进行直线型边缘\/或圆弧形线段拟合，得到线段集合和\/或椭圆弧集合；特征点提取模块，适于提取线段集合和\/或椭圆弧集合的至少一个特征点，并计算各特征点的工件坐标；以及形位尺寸计算模块，适于根据各特征点的工件坐标计算目标部位及其中各安装孔的形位尺寸和公差。

可选地，在根据本发明的公差视觉检测装置中，形位尺寸计算模块还适于综合大尺寸工件的不同目标部位及其中各安装孔的形位尺寸和公差，来计算大尺寸工件的形位尺寸和公差。

可选地，在根据本发明的公差视觉检测装置中，目标区域提取模块适于将目标部位的图像转换为灰度图像，对该灰度图像进行自适应阈值分割，并从分割后图像中提取该目标区域。

可选地，在根据本发明的公差视觉检测装置中，目标区域提取模块还适于对目标部位的图像进行畸变校正，以及对灰度图像进行滤波处理和形态学处理。

根据本发明的又一方面，提供一种计算设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序被处理器执行时实现如上所述的大尺寸工件的公差视觉检测方法的步骤。

根据本发明的又一方面，提供一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，该指令当由计算设备执行时实现如上所述的大尺寸工件的公差视觉检测方法的步骤。

根据本发明的技术方案，从大尺寸工件目标部位的图像中提取包含安装孔的感兴趣目标区域，并通过对目标部位和目标区域的多个特征轮廓进行边缘拟合得到线段集合和\/或椭圆弧集合。之后，根据该线段集合和\/或椭圆弧集合中各特征点的工件坐标来计算目标部位及各安装孔的尺寸形位和公差。这种方法通过图像处理来精确计算每个目标部位的形位尺寸和公差。

而且，本发明还可以获取该工件所有目标部位的图像生成序列图像，并对每帧序列图像进行处理，得到每帧图像中对应目标部位的形位尺寸和公差。之后综合所有序列图像的结果得到该大尺寸工件的形位尺寸和公差。这种方法避免了基于拼接后的全景图来标定各项目方法的累计精度问题，能够得到工件及其各部位的准确形位尺寸，且图像处理方法提高了工件尺寸检测效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一个实施例的公差视觉检测系统100的结构图；

图2示出了根据本发明一个实施例的计算设备200的结构图；

图3示出了根据本发明一个实施例中的大尺寸工件的公差视觉检测方法300的流程图；

图4a至图4d分别示出了某大尺寸工件多个目标部位的序列图像；

图5a至图5e分别示出了对图5c中目标部位的安装孔进行定位的示意图；

图6和图7分别示出了根据本发明另一个实施例中的大尺寸工件的公差视觉检测方法600和700的流程图；以及

图8示出了根据本发明一个实施例的大尺寸工件的公差视觉检测装置800的结构图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了本发明的公差视觉检测系统100的结构图。如图1所示，系统100包括定位机器人110、采集模块和计算设备。采集模块安装在定位机器人110上，采集模块包括相机120和测距传感器，且相机120和测距传感器均与计算设备相连。

定位机器人110带动采集模块运动至待检测面的预定位置，以便相机120在预定位置上大尺寸工件上的待检测面进行拍摄，得到待检测面的图像。根据一个实施例，定位机器人110可以为机械臂，该机械臂的末端固定安装该采集模块。机械臂的臂展可以为1420mm，当然不限于此，也可以为其他数值。

相机120可以为工业相机，如CCD相机、CMOS相机等，当然不限于此。相机120在进行图像采集之前可进行张正友标定法的相机畸变矫正，以避免镜头透镜因制造精度和组装工艺的偏差所引入的透镜畸变。测距传感器可以为激光测距传感器，其在定位机器人110带动下沿待检测面的边缘运动，并记录相机到待检测面的距离数据。定位机器人110根据该距离数据对相机120到待检测面的距离进行调整，使相机120的成像平面与大尺寸工件的待测面平行，保证能够采集到待检测面的清晰图像。这种配合激光测距的图像采集方式还可避免因成像平面与待测面不平行而造成“近大远小”的透视畸变问题，提高图像采集的质量。

计算设备可获取相机120采集到的图像和相机120在采集该图像时的工具坐标系，并根据采集到的图像和工具坐标系来确定待测件的尺寸形位和公差。计算设备还可根据测距传感器测得的距离数据来确定待测面的平行度或垂直度。待测件通常包括多个待检测面，每个待测面上分布有若干个安装孔，该安装孔可以为圆孔、方孔、螺纹孔、装配孔等，本发明对孔的形状和结构不做限制。待测件的结构尺寸可包括外形尺寸和定位尺寸。定位尺寸是指待待测件上的两个结构之间的尺寸，例如两个孔之间的尺寸，从而根据定位尺寸确定待测件上的孔的相对位置。外形尺寸是指待测件上结构的本身尺寸，例如工件整体尺寸、孔的直径、半径等自身尺寸。形位公差通常包括直线度、平行度、垂直度、倾斜度等特征。

图2示出了根据本发明一个实施例的计算设备200的结构框图。在基本的配置202中，计算设备200典型地包括系统存储器206和一个或者多个处理器204。存储器总线208可以用于在处理器204和系统存储器206之间的通信。

取决于期望的配置，处理器204可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器204可以包括诸如一级高速缓存210和二级高速缓存212之类的一个或者多个级别的高速缓存、处理器核心214和寄存器216。示例的处理器核心214可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器218可以与处理器204一起使用，或者在一些实现中，存储器控制器218可以是处理器204的一个内部部分。

取决于期望的配置，系统存储器206可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器206可以包括操作系统220、一个或者多个应用222以及程序数据224。在一些实施方式中，应用222可以布置为在操作系统上利用程序数据224进行操作。程序数据224包括指令，在根据本发明的计算设备200中，程序数据224包含用于执行大尺寸工件的公差视觉检测方法300、600和\/或700的指令。

计算设备200还可以包括有助于从各种接口设备(例如，输出设备242、外设接口244和通信设备246)到基本配置102经由总线\/接口控制器230的通信的接口总线240。示例的输出设备242包括图形处理单元248和音频处理单元250。它们可以被配置为有助于经由一个或者多个A\/V端口252与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口244可以包括串行接口控制器254和并行接口控制器256，它们可以被配置为有助于经由一个或者多个I\/O端口258和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备246可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口264与一个或者多个其他计算设备262通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

计算设备200可以实现为服务器，例如文件服务器、数据库服务器、应用程序服务器和WEB服务器等，也可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备200还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。在一些实施例中，计算设备200被配置为执行大尺寸工件的公差视觉检测方法300、600和\/或700。

图3示出了根据本发明一个实施例的大尺寸工件的公差视觉检测方法300的流程示意图。方法300在计算设备中执行，如在计算设备200中执行，以对大尺寸工件的形位尺寸和公差进行检测。

如图3所示，方法300始于步骤S310。在步骤S310中，获取大尺寸工件中某目标部位的图像，并从该图像中提取包含安装孔的感兴趣目标区域。安装孔例如可以是螺纹孔和装配孔等。

在实际应用中，可将大尺寸工件划分为多个目标部位，得到每个目标部位的图像构成序列图像，每个目标部位可能会有安装孔。分别对每帧图像进行图像处理，可得到每个目标部位和其中安装孔的尺寸形位和公差，并综合所有目标部位及其中各安装孔的尺寸形位和公差，来计算该大尺寸工件的尺寸形位和公差。如4a至4d分别示出了某地铁屏蔽门左侧支柱的序列图像，分别对应从上到下的四个目标部位。

通常，相机在进行图像采集时，可按顺序位置依次采集该工件多个部位的图像，这多个部位的上下边缘位置可恰好连接，也可重合一定距离，本发明对此不作限制。另外，待测件通常包括多个待测面，在对该多个待测面进行图像采集时，尽量保证定位机器人110行走的路径尽量不重复(时间最短原则)，提高图像采集效率。具体可从所有待检测面中选定一个基准面，先对该基准面进行检测后，再来检测其余待检测面的结构尺寸及其相对于基准面的垂直度。

根据一个实施例，可以将该目标部位的图像转换为灰度图像，并对该灰度图像进行自适应阈值分割后，从该分割后图像中提取该目标区域。进一步地，还可以先对该目标部位的图像进行畸变校正，再对畸变校正后的图像进行灰度转换。此外，还可以对转换后的灰度图像进行滤波处理和形态学处理。滤波处理如中值滤波处理、高斯滤波处理等。形态学处理例如开运算处理和闭运算处理等。开运算用于消除工件表面的深色污点，并增强待测量螺纹孔和装配孔区域的纹理特征。空洞特征灰度值偏大，开运算可以进一步增加空洞区域的灰度值，并增大空洞区域。闭运算用于消除工件表面的浅色的油渍以及亮光斑。通过开闭运算处理后可明显增强图像的明暗对比度，之后对图像进行OSTO大津分割等自适应阈值分割，可得到螺纹孔和装配孔的大致区域，进而计算得到该区域的最小外接矩形作为该包含该安装孔的ROI目标区域。

存在多种图像畸变校正、灰度转换、滤波处理、形态学处理、自适应阈值分割和ROI感兴趣目标区域的提取方法，本发明不受限于此，所有可以实现对应图像处理功能的图像处理方法均在本发明的保护范围之内。

随后，在步骤S320中，分别提取目标部位和目标区域的亚像素边缘，并对提取到的亚像素边缘进行轮廓跟踪，得到多个特征轮廓。

这里，主要是为了获取工件的边缘轮廓和多个安装孔的轮廓。亚像素边缘提取可以采用任一现有技术实现，例如采用插值法来提取亚像素边缘，本发明对此不作限制。

根据一个实施例，在进行轮廓跟踪时，可对所提取到的亚像素边缘进行Freenman链码跟踪，并过滤噪声边缘，从而得到多个特征轮廓。其中，Freeman链码是用曲线起始点的坐标和边界点方向代码来描述曲线或边界的方法，常用的链码按照中心像素点邻接方向个数的不同，分为4连通链码和8连通链码。另外，在过滤噪声边缘时，可分别设定面积阈值和长度阈值，并将实际面积小于该面积阈值、或者实际长度小于该长度阈值的特征轮廓设定为噪声边缘。

根据另一个实施例，还可以设定外接矩形长宽比的第一阈值和第二阈值(第一阈值小于第二阈值)，并将实际长宽比大于第二阈值的特征轮廓设定为直线型边缘，以及将实际长宽比小于第一阈值的特征轮廓设定为椭圆弧型边缘。其中，直线型边缘例如工件的最外边缘和方形孔边缘等(如要测侧横梁的宽度时需要得到测横梁边缘)，椭圆弧型边缘例如椭圆形或圆形孔边缘等、(此外屏蔽门底面会存在一些由两条直道加上两条半圆形弯道组成的装配孔)。

随后，在步骤S330中，对多个特征轮廓进行直线型边缘和\/或椭圆弧型边缘拟合，得到线段集合和\/或椭圆弧集合。

具体的，对于属于直线型边缘的特征轮廓，可以对其进行直线型边缘剔除粗大误差点的最小二乘法拟合，得到线段集合。对于属于椭圆弧型边缘的特征轮廓，可以对其进行椭圆弧型边缘剔除粗大误差点的最小二乘法拟合，得到椭圆弧集合。也就是在进行最小二乘法的直线拟合和椭圆弧拟合时都剔除了较大的误差点，提高线条拟合的准确度。

随后，在步骤S340中，提取线段集合和\/或椭圆弧集合的至少一个特征点，并计算各特征点的工件坐标。

其中，椭圆弧集合的特征点例如可以包括椭圆的中心点和各顶点(如上下左右四个方向上的最边缘点)，以便于确定椭圆的位置和尺寸大小。椭圆弧集合可以是独立的单段椭圆弧(如工件顶角的半圆过渡弧)，也可以是一个完整的椭圆(如安装孔对应的完整椭圆)。椭圆弧集合还可以是同属同一椭圆的若干个分散的椭圆弧(如安装孔对应的多个分散椭圆弧)，通过对这些分散的椭圆弧进行拟合可以得到对应的椭圆。线段集合的特征点例如可以包括该线段集合中各线段的两个端点和中点，根据该特征点可以确定各线段的位置和长度、以及工件的宽度、高度等。

根据一个实施例，计算设备中存储有工具坐标和工件坐标的转换关系，这样确定各特征点的图像坐标V_{i<\/sub>(x，y，0)后，就可根据该图像坐标来确定其工具坐标B_{i<\/sub>(x，y，z)，进而可根据该工具坐标和工件坐标的转换关系计算各特征点的工件坐标。}}

图1标注有工具坐标系Tool和工件坐标系Base的具体位置关系。若工件有多个待测面，则为每个待测面都设置一次工件坐标系和工具坐标系。工具坐标系Base可根据工件人为定义，用于确定工件上的各点坐标。工具坐标系Tool是指定位机器人测量头(即采集模块，包括工业相机和测距传感器)的坐标系，初始位置通常与工具坐标系重合或者平移得到，具体可设定工具坐标系由工件坐标系沿x轴平移h个单位得到。工具坐标系Tool随测量头移动而移动。另外，工具坐标系的原点与图像坐标系的原点重合，且工具坐标系的xOy平面与图像坐标系所在的平面重合。图1中的大尺寸工件为地铁屏蔽门，其中Base坐标系原点位于工件左下角，初始状态下Tool坐标系原点位于工件左上角，两个原点在x轴上相差h个单位，Tool坐标系随测量头的移动而移动，当测量头移动至图1中的检测位置时，Tool坐标系原点随之移动至工件右上角。

根据一个实施例，工具坐标和工件坐标的转换关系为：

C_{i<\/sub>＝R_{1<\/sub>·(Q·V_{i<\/sub>)+T_1<\/sub>}}}

其中，C_{i<\/sub>和V_{i<\/sub>分别是第i个特征点的工件坐标和工具坐标，T_{1<\/sub>和R_{1<\/sub>分别是拍摄该目标部位的图像时工具坐标系到工件坐标系的平移矩阵和旋转矩阵，Q是像素当量矩阵，R_{h<\/sub>和R_{v<\/sub>分别是相机的横向与纵向像素当量。这里，像素当量即是图像上的一个像素所对应的实际尺寸，可通过在检测现场对标准件进行尺寸标定的方法获取图像对应的像素当量。举例而言，在相机120的成像视野内放置一个1*1mm的正方形标准件，并对该正方形标准件拍摄为图像，对图像处理后计算出图像上1*1mm区域内的像素个数，这样，尺寸(1mm)与像素个数的比值即是像素当量。}}}}}}

接着，在步骤S350中，根据各特征点的工件坐标计算目标部位及其中各安装孔的形位尺寸和公差。

其中，目标部位及其中各安装孔的尺寸形位和公差包括目标部位的外形尺寸、目标部位中各安装孔的定位尺寸和外形尺寸、以及各尺寸的偏差。具体地，目标部位的外形尺寸结合工件外轮廓线段的中心点计算得到，例如根据左右两条线段的中点计算宽度。安装孔的外形尺寸结合安装孔的各顶点计算得到，例如根据圆的左右两顶点和中心点计算直径或半径。安装孔的定位尺寸结合参考基准线段轮廓的中心点坐标和椭圆中心点坐标计算得到。各尺寸的偏差可以根据测得的实际尺寸值与预设的标准值进行对比计算。

图5a至5e分别示出了通过图像处理对螺纹孔进行定位的基本流程，其中图5a为原始图像，图5b为基于形态学处理后的图像提取螺纹孔ROI区域，其中包括三个ROI目标区域。图5c为针对所提取的ROI区域进行图像分割，图5d是针对所提取的亚像素边缘进行圆弧型边缘剔除粗大误差点的最小二乘法拟合，得到三个拟合的椭圆。图5e是螺纹孔圆心像素坐标的计算结果，其中三个螺纹孔的圆心坐标分别为A(x1，y1)、B(x2，y2)、C(x3，y3)。应当理解的是，图像中每个点的z轴坐标均可认为是0。另外，还可以根据图像中该段侧柱的左右两条线段的特征点坐标(如两条线段的中点)来计算得到该段侧柱的宽度为D。

此外，本发明还可以设定尺寸测量参数的标识，该标识可以包括工件外形尺寸标识、各安装孔的定位尺寸标识和外形尺寸标识，并将各尺寸标识与计算得到的对应尺寸值进行关联存储。例如，可以定义工件外形尺寸标识M_type＝0、螺纹孔定位尺寸标识M_type＝1、装配孔定位及外形尺寸标识M_type＝2。根据尺寸测量种类可确定M_type值，并与对应的工件外形尺寸(E_flag＝0)、螺纹孔的定位尺寸(E_flag＝1)、装配孔定位及外形尺寸(E_flag＝2)关联存储。

图6示出了根据本发明另一个实施例的大尺寸工件的公差视觉检测方法600的流程示意图。方法600在计算设备中执行，如在计算设备200中执行，以对待测件的形位尺寸和公差进行检测。

如图6所示，方法600始于步骤S610。在步骤S610中，获取大尺寸工件的序列图像，该序列图像包括该大尺寸工件的不同部位的图像。

随后，在步骤S620中，分别采用如方法300中的大尺寸工件的公差视觉检测方法对每帧序列图像进行公差视觉检测，得到不同部位的尺寸形位和公差。例如，分别对图4a至4d这四张屏蔽门左侧支柱的序列图像进行公差视觉检测，得到每张图像中对应结构部位的外形尺寸和定位尺寸，如左右两条线段的端点和中点、每段支柱的宽度等、以及每个安装孔的中心点和半径等。

接着，在步骤S630中，综合所有部位的尺寸形位和公差，计算该大尺寸工件的尺寸形位和公差。也就是将图4a至4d每张图像中的线段结构、孔结构、椭圆弧结构等的尺寸形位和公差进行合并，得到屏蔽门左侧支柱的尺寸形位和公差。

图7示出了根据本发明另一个实施例大尺寸工件的公差视觉检测方法700的详细流程图，在计算设备中执行，如在计算设备200中执行。

如图7所示，方法700始于步骤S710。在步骤S710中，采集序列图像I_{0-N<\/sub>，并记录每次图像采集时对应的工具坐标系R_{i<\/sub>，i＝0-N。其中，这N张序列图像对应待测件的N个部位，这N个部位共同构成该待测件。}}

随后，在步骤S720中，对于任一帧图像，依次对该图像进行畸变校正、灰度转换和形态学处理，创建该图像的至少一个矩形ROI目标区域。

随后，在步骤S730中，对该图像中的每个目标区域进行亚边缘像素检测和基于Freenman链码的轮廓跟踪，得到每个目标区域所对应的多个特征轮廓。

随后，在步骤S740中，对该图像中每个目标区域的多个特征轮廓进行直线型边缘和\/或椭圆弧型边缘判断，并对直线型边缘和\/或椭圆弧型边缘进行拟合，得到该图像中每个目标区域的线段集合和\/或椭圆弧集合。

随后，在步骤S750中，确定该图像中线段集合和\/或椭圆弧集合的特征点，计算各特征点的图像坐标，并将该图像坐标转换为工件坐标。

随后，在步骤S760中，对于其他帧图像，依次对其进行步骤S720-步骤S750中的操作，分别得到其他帧图像中各特征点的工件坐标。

接着，在步骤S770中，根据所有序列图像中各特征点的工件坐标计算该待测件的尺寸形位和公差。

也就是方法700中是得到了所有序列图像中的特征点工件坐标后再统一进行尺寸形位和公差计算，其中具体的各图像处理和计算的操作细节已在基于其他附图的描述中详细公开，这里不再展开赘述。

图8示出了根据本发明一个实施例的大尺寸工件的公差视觉检测装置800，该装置800可以包含在如图2所示的计算设备200中。如图8所示，装置800包括目标区域提取模块810、特征轮廓提取模块820、特征轮廓拟合模块830、特征点提取模块840和形位尺寸计算模块850。

目标区域提取模块810获取大尺寸工件中某目标部位的图像，并从该图像中提取包含安装孔的感兴趣目标区域。目标区域提取模块810可以进行与上面在步骤S310中描述的处理相对应的处理，这里不再展开赘述。

特征轮廓提取模块820分别提取目标部位和目标区域的亚像素边缘，并对提取到的亚像素边缘进行轮廓跟踪，得到多个特征轮廓。特征轮廓提取模块820可以进行与上面在步骤S320中描述的处理相对应的处理，这里不再展开赘述。

特征轮廓拟合模块830对多个特征轮廓进行直线型边缘\/或圆弧形线段拟合，得到线段集合和\/或椭圆弧集合。特征轮廓拟合模块830可以进行与上面在步骤S330中描述的处理相对应的处理，这里不再展开赘述。

特征点提取模块840提取线段集合和\/或椭圆弧集合的至少一个特征点，并计算各特征点的工件坐标。特征点提取模块840可以进行与上面在步骤S340中描述的处理相对应的处理，这里不再展开赘述。

形位尺寸计算模块850根据各特征点的工件坐标计算目标部位及其中各安装孔的尺寸形位和公差。形位尺寸计算模块850还可以综合该大尺寸工件的不同目标部位及其中各安装孔的尺寸形位和公差，来计算该大尺寸工件的尺寸形位和公差。形位尺寸计算模块850可以进行与上面在步骤S350中描述的处理相对应的处理，这里不再展开赘述。

根据本发明的技术方案，通过采用机器人配合机器视觉以及激光测距仪进行大尺寸测量，建立了以自适应阈值处理、中值滤波、形态学处理、亚像素边缘检测算法为基础的图像处理方法，对大尺寸工件的图像进行处理，并结合剔除粗大误差点的直线型边缘、椭圆形边缘两种边缘拟合算法提取并辨识大尺寸工件的特征信息，最终获取工件各项尺寸，计算精度远远达到测量需求。

A7、如A1-A6中任一项所述的方法，还包括步骤：设定外接矩形长宽比的第一阈值和第二阈值，并将实际长宽比大于第二阈值的特征轮廓设定为直线型边缘，以及将实际长宽比小于第一阈值的特征轮廓设定为椭圆弧型边缘。A8、如A7所述的方法，其中，对所述多个特征轮廓进行直线型边缘\/或圆弧形线段拟合的步骤包括：对属于直线型边缘的特征轮廓进行直线型边缘剔除粗大误差点的最小二乘法拟合，得到线段集合；和\/或对属于椭圆弧型边缘的特征轮廓进行椭圆弧型边缘剔除粗大误差点的最小二乘法拟合，得到椭圆弧集合。A9、如A1-A8中任一项所述的方法，其中，所述椭圆弧集合的特征点包括椭圆的中心点和各顶点，所述线段集合的特征点包括该线段集合中各线段的两个端点和中点。

A10、如A1-A9中任一项所述的方法，其中，所述获取所述大尺寸工件的某目标部位的图像的步骤包括：从相机中获取目标部位的图像，并获取该相机在拍摄该图像时定位机器人测量头的工具坐标系；其中，所述相机在拍摄该图像时，由定位机器人根据测距传感器测得的距离信息来调整相机的工作距离，以保证相机的成像平面与所述大尺寸工件的待检测面平行。A11、如A1-A10中任一项所述的方法，其中，所述计算设备中存储有工具坐标和工件坐标的转换关系，所述计算各特征点的工件坐标的步骤包括：根据各特征点的图像坐标来确定其工具坐标，并根据所述转换关系计算各特征点的工件坐标。A12、如A11所述的方法，其中，工具坐标系的原点与图像坐标系的原点重合，且工具坐标系的xOy平面与图像坐标系所在的平面重合；所述转换关系为：

C_{i<\/sub>＝R_{1<\/sub>·(Q·V_{i<\/sub>)+T_1<\/sub>}}}

A13、如A1-A12中任一项所述的方法，其中，所述目标部位及其中各安装孔的形位尺寸和公差包括目标部位的外形尺寸、目标部位中各安装孔的定位尺寸和外形尺寸、以及各尺寸的偏差。A14、如A13所述的方法，其中，所述目标部位的外形尺寸结合工件外轮廓线段的中心点计算得到；所述安装孔的外形尺寸结合安装孔的各顶点计算得到；所述安装孔的定位尺寸结合参考基准线段轮廓的中心点坐标和椭圆中心点坐标计算得到。A15、如A13所述的方法，还包括步骤：设定尺寸测量参数的标识，所述标识包括工件外形尺寸标识、各安装孔的定位尺寸标识和外形尺寸标识，并将各尺寸标识与计算得到的对应尺寸值进行关联存储。

B18、如B17所述的装置，所述形位尺寸计算模块还适于综合所述大尺寸工件的不同目标部位及其中各安装孔的形位尺寸和公差，来计算所述大尺寸工件的形位尺寸和公差。B19、如B17所述的装置，其中，所述目标区域提取模块适于将所述目标部位的图像转换为灰度图像，对该灰度图像进行自适应阈值分割，并从分割后图像中提取所述目标区域。B20、如B19所述的装置，所述目标区域提取模块还适于对所述目标部位的图像进行畸变校正，以及对所述灰度图像进行滤波处理和形态学处理。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和\/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的大尺寸工件的公差视觉检测方法。

以示例而非限制的方式，可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。

在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和\/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的而非限制性的，本发明的范围由所附权利要求书限定。

设计图

大尺寸工件的公差视觉检测方法、装置和计算设备论文和设计

大尺寸工件的公差视觉检测方法、装置和计算设备论文和设计-刘坚

全文摘要

主设计要求

设计方案

设计说明书

设计图

相关信息详情

猜你喜欢