全文摘要
本申请实施例公开了一种质量智能检测方法及相关装置,方法包括:获取被检测产品在振动状态下的原始视频;处理原始视频得到多个分辨率对应的多个子带图像序列;按照预设的分区灰度值筛选策略从多个子带图像序列筛选出用于放大处理的至少一个子带图像序列;放大处理至少一个子带图像序列得到放大处理后的至少一个子带图像序列;将放大处理后的至少一个子带图像序列和多个子带图像中除至少一个子带图像序列之外的子带图像序列进行融合处理,得到具有运动放大效果的目标视频;根据目标视频确定被检测产品的振动数据;将振动数据导入预训练的质量检测模型,输出质量检测结果。本申请有利于减少图像运算量和提高对原始视频的处理效率和准确率。
主设计要求
1.一种质量智能检测方法,其特征在于,应用于振动检测设备,包括摄像装置和扬声器,所述方法包括:获取被检测产品在振动状态下的原始视频;处理所述原始视频得到多个分辨率对应的多个子带图像序列;确定所述多个子带图像序列的前景图像和后景图像,所述前景图像包含所述被检测产品的发生往复运动的区域影像,所述后景图像为除所述被检测产品的影像之外的影像;确定所述前景图像在子带图像中的面积占比;根据所述面积占比和预设的子分区计算公式确定所述前景图像的子分区数量,并按照所述子分区数量划分所述前景图像为多个前景子分区;针对每个子带图像序列,执行以下操作(1)-(6)以得到所述每个子带图像序列的灰度值变化频率:(1)确定当前处理的子带图像序列中每个子带图像的每个前景子分区的被测像素点;(2)根据每个被测像素点在当前子带图像序列包含的多个子带图像的灰度值生成每个被测像素点的灰度值时域变化波形图;(3)针对所述每个前景子分区执行如下(a)(b)(c)操作:(a)根据当前处理的前景子分区包含的多个被测像素点的灰度值时域变化波形图,确定所述当前处理的前景子分区是否包含灰度值周期性变化的被测像素点;(b)若是,则标记所述当前处理的前景子分区为被选择的前景子分区;(c)若否,则标记所述当前处理的前景子分区为未被选择的前景子分区;(4)针对标记后的被选择的多个前景子分区,按照区域关联性将具有相邻关系的前景子分区拼接为振动参考区域;(5)确定所述振动参考区域中多个像素点中灰度值发生周期性变化的多个参考像素点,以及确定每个参考像素点的灰度值变化频率;(6)加权计算所述振动参考区域中所述多个参考像素点的灰度值变化频率,得到所述当前处理的子带图像序列的灰度值变化频率;根据所述每个子带图像序列的灰度值变化频率筛选出符合预设参考振动频率的至少一个子带图像序列;放大处理所述至少一个子带图像序列得到放大处理后的至少一个子带图像序列;将所述放大处理后的至少一个子带图像序列和所述多个子带图像序列中除所述至少一个子带图像序列之外的子带图像序列进行融合处理,得到具有运动放大效果的目标视频,所述运动放大效果是指针对所述原始视频中所述被检测产品的发生往复运动的区域影像的放大处理;根据所述目标视频确定所述被检测产品的振动数据;将所述振动数据导入预训练的质量检测模型,输出质量检测结果。
设计方案
1.一种质量智能检测方法,其特征在于,应用于振动检测设备,包括摄像装置和扬声器,所述方法包括:
获取被检测产品在振动状态下的原始视频;
处理所述原始视频得到多个分辨率对应的多个子带图像序列;
确定所述多个子带图像序列的前景图像和后景图像,所述前景图像包含所述被检测产品的发生往复运动的区域影像,所述后景图像为除所述被检测产品的影像之外的影像;
确定所述前景图像在子带图像中的面积占比;
根据所述面积占比和预设的子分区计算公式确定所述前景图像的子分区数量,并按照所述子分区数量划分所述前景图像为多个前景子分区;
针对每个子带图像序列,执行以下操作(1)-(6)以得到所述每个子带图像序列的灰度值变化频率:
(1)确定当前处理的子带图像序列中每个子带图像的每个前景子分区的被测像素点;
(2)根据每个被测像素点在当前子带图像序列包含的多个子带图像的灰度值生成每个被测像素点的灰度值时域变化波形图;
(3)针对所述每个前景子分区执行如下(a)(b)(c)操作:(a)根据当前处理的前景子分区包含的多个被测像素点的灰度值时域变化波形图,确定所述当前处理的前景子分区是否包含灰度值周期性变化的被测像素点;(b)若是,则标记所述当前处理的前景子分区为被选择的前景子分区;(c)若否,则标记所述当前处理的前景子分区为未被选择的前景子分区;
(4)针对标记后的被选择的多个前景子分区,按照区域关联性将具有相邻关系的前景子分区拼接为振动参考区域;
(5)确定所述振动参考区域中多个像素点中灰度值发生周期性变化的多个参考像素点,以及确定每个参考像素点的灰度值变化频率;
(6)加权计算所述振动参考区域中所述多个参考像素点的灰度值变化频率,得到所述当前处理的子带图像序列的灰度值变化频率;
根据所述每个子带图像序列的灰度值变化频率筛选出符合预设参考振动频率的至少一个子带图像序列;
放大处理所述至少一个子带图像序列得到放大处理后的至少一个子带图像序列;
将所述放大处理后的至少一个子带图像序列和所述多个子带图像序列中除所述至少一个子带图像序列之外的子带图像序列进行融合处理,得到具有运动放大效果的目标视频,所述运动放大效果是指针对所述原始视频中所述被检测产品的发生往复运动的区域影像的放大处理;
根据所述目标视频确定所述被检测产品的振动数据;
将所述振动数据导入预训练的质量检测模型,输出质量检测结果。
2.根据权利要求1所述的方法,其特征在于,所述预设的子分区计算公式为:
设计说明书
技术领域
本申请涉及互联网技术领域,具体涉及一种质量智能检测方法及相关装置。
背景技术
近年来,“互联网+”已经是创新2.0下的互联网发展的新业态,是知识社会创新2.0推动下的互联网形态演进及其催生的经济社会发展新形态。“互联网+”就是“互联网+各个传统行业”,即利用信息通信技术以及互联网平台,让互联网与传统行业进行深度融合,充分发挥互联网在社会资源配置中的优化和集成作用,将互联网的创新成果深度融合于经济、社会各域之中,提升全社会的创新力和生产力,形成更广泛的以互联网为基础设施和实现工具的经济发展新形态。现有的故障监测机制一般是采用本地化检测设备,如在专用房间布置激光多普勒测振仪LDVs,通过该设备进行本地化的振动检测,以及故障预测等,但是LDVs存在价格昂贵,使用环境受限,例如测试环境的温度、光照等环境影响会使测量结果严重变坏,测试区域小、难以实现远程监控等缺点,难以满足日益增多的各类场景中的智能化的振动检测需求。因此提供一种基于互联网的智能化的振动检测方法很有必要。
发明内容
本申请实施例提供了一种质量智能检测方法及相关装置,以期提高针对产品的质量检测的效率和准确率。
具体的,本申请实施例所公开的振动检测方法中的数据传输流程可以基于互联网+技术,形成本地+云端或服务器的分布式智能化振动检测系统,一方面本地可以通过采集装置进行精确的原始影像采集和预处理,另一方面云端或服务器可以基于获取到的分布式数据,结合通过大数据技术统计分析得到的各类专用故障检测模型,预测被检测目标的故障,实现互联网与传统故障监测行业的深度融合,提高故障监测的智能性和准确度,满足日益增多的各类场景中的智能化的振动检测需求。
第一方面,本申请实施例提供一种质量智能检测方法,应用于振动检测设备,包括摄像装置和扬声器,所述方法包括:
获取被检测产品在振动状态下的原始视频;
处理所述原始视频得到多个分辨率对应的多个子带图像序列;
按照预设的分区灰度值筛选策略从所述多个子带图像序列筛选出用于放大处理的至少一个子带图像序列;
放大处理所述至少一个子带图像序列得到放大处理后的至少一个子带图像序列;
将所述放大处理后的至少一个子带图像序列和所述多个子带图像序列中除所述至少一个子带图像序列之外的子带图像序列进行融合处理,得到具有运动放大效果的目标视频,所述运动放大效果是指针对所述原始视频中所述被检测产品的发生往复运动的区域影像的放大处理;
根据所述目标视频确定所述被检测产品的振动数据;
将所述振动数据导入预训练的质量检测模型,输出质量检测结果。
第二方面,本申请实施例提供一种质量智能检测装置,应用于振动检测设备,应用于振动检测设备,包括摄像装置和扬声器,所述质量智能检测装置包括处理单元和通信单元,其中,
所述处理单元通过所述通信单元获取被检测产品在振动状态下的原始视频;以及处理所述原始视频得到多个分辨率对应的多个子带图像序列;以及按照预设的分区灰度值筛选策略从所述多个子带图像序列筛选出用于放大处理的至少一个子带图像序列;以及放大处理所述至少一个子带图像序列得到放大处理后的至少一个子带图像序列;以及将所述放大处理后的至少一个子带图像序列和所述多个子带图像序列中除所述至少一个子带图像序列之外的子带图像序列进行融合处理,得到具有运动放大效果的目标视频,所述运动放大效果是指针对所述原始视频中所述被检测产品的发生往复运动的区域影像的放大处理;以及根据所述目标视频确定所述被检测产品的振动数据;以及将所述振动数据导入预训练的质量检测模型,输出质量检测结果。
第三方面,本申请实施例提供一种振动检测设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,本申请实施例中,振动检测设备首先获取被检测产品在振动状态下的原始视频;然后处理所述原始视频得到多个分辨率对应的多个子带图像序列;其次按照预设的分区灰度值筛选策略从所述多个子带图像序列筛选出用于放大处理的至少一个子带图像序列;其次放大处理所述至少一个子带图像序列得到放大处理后的至少一个子带图像序列;其次将所述放大处理后的至少一个子带图像序列和所述多个子带图像序列中除所述至少一个子带图像序列之外的子带图像序列进行融合处理,得到具有运动放大效果的目标视频,所述运动放大效果是指针对所述原始视频中所述被检测产品的发生往复运动的区域影像的放大处理;其次根据所述目标视频确定所述被检测产品的振动数据;最后将所述振动数据导入预训练的质量检测模型,输出质量检测结果。可见,通过振动检测设备获取原始视频,根据预设的分区灰度值筛选策略筛选出用于放大处理的至少一个子带图像序列,对所述至少一个子带图像序列放大处理,以及对放大处理后的至少一个子带图像序列进行融合,得到目标视频,减少了需要进行放大的图像处理运算量,以及提高了对原始视频的处理效率和准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种振动检测设备的装置图;
图2是本申请实施例提供的一种质量智能检测方法的流程示意图;
图3是本申请实施例提供的像素点的灰度值时域变化波形的示意图
图4A是本申请实施例提供的振动检测设备显示质量检测快捷键的主界面显示图;
图4B是本申请实施例提供的振动检测设备显示功能键的主界面;
图4C是本申请实施例提供的振动检测设备显示扫一扫界面;
图4D是本申请实施例提供的振动检测设备显示拍照识别界面;
图5是本申请实施例提供的一种振动检测设备的结构示意图;
图6是本申请实施例提供的一种质量智能检测装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的振动检测设备可以是具备摄像装置的电子设备,该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(UserEquipment,UE),移动台(MobileStation,MS),终端设备(terminaldevice)等等。
下面对本申请实施例进行详细介绍。
请参阅图1,图1为振动检测设备的装置图,振动检测设备100包括摄像装置110,扬声器120,其中,摄像装置可以是高清摄像头或者可调焦距的摄像头。
请参阅图2,图2是本申请实施例提供了一种质量智能检测方法的流程示意图,应用于振动检测设备,所述振动检测设备包括摄像装置和扬声器,如图所示,本质量智能检测方法包括:
S201,振动检测设备获取被检测产品在振动状态下的原始视频;
其中,所述原始视频为所述振动检测设备录制的被检测产品的未经处理的振动视频。
S202,所述振动检测设备处理所述原始视频得到多个分辨率对应的多个子带图像序列;
其中,处理所述原始视频得到多个第一子带图像集合包括通过摄像装置采集被检测产品的原始视频;对原始视频的多帧图像进行颜色空间转换,得到被检测产品在时域空间的多个YIQ图像;对多个YIQ图像中的Y通道图像进行傅里叶变换,得到被检测产品在频域空间的多个Y通道图像;基于复数可操纵金子塔对多个Y通道图像进行空域分解,从而得到对应的多个第一子带图像集合。每个第一子带图像集合包括多个图像分辨率对应的多个子带图像,所述多个子带图像中任意两个子带图像的尺度和方向互不相同,且所述多个第一子带图像集合中的子带图像对应所述多个图像分辨率形成多个子带图像序列,每个子带图像序列中任意两个子带图像来自于不同的第一子带图像集合。
S203,所述振动检测设备按照预设的分区灰度值筛选策略从所述多个子带图像序列筛选出用于放大处理的至少一个子带图像序列;
其中,通过所述振动检测设备识别每个子带图像序列的每个像素内的灰度值,通过将每个子带图像序列中每个子带图像进行分区处理,确定分区后每个区域的像素点灰度值,从而筛选出用于放大处理的至少一个子带图像序列,这样可以提升对原始视频的处理效率,获得更准确的放大运动信息,也避免了对更高分辨率图像进行放大的需要增加的运算量。
其中,所述分区灰度值筛选策略可以基于所述每个子带图像序列的前景图像和后景图像的占比关系进行分区,还可以基于被检测产品的形状进行分区,例如被检测产品为圆形,可以从圆心开始,以不同半径的同心圆形状进行分区。
S204,所述振动检测设备放大处理所述至少一个子带图像序列得到放大处理后的至少一个子带图像序列;
其中,对所述至少一个子带图像序列集合进行放大处理可以是根据每个图像序列中同一个像素点在不同时刻的灰度值差值进行放大,即放大某个像素点的灰度值变化频率。
具体实现中,还可以进行分区放大处理,通过识别前景图像和后景图像,对所述前景图像的像素点的灰度值差值进行放大,从而得到放大处理后的至少一个子带图像序列。
S205,所述振动检测设备将所述放大处理后的至少一个子带图像序列和所述多个子带图像序列中除所述至少一个子带图像序列之外的子带图像序列进行融合处理,得到具有运动放大效果的目标视频,所述运动放大效果是指针对所述原始视频中所述被检测产品的发生往复运动的区域影像的放大处理;
其中,将所述放大处理后的所述至少一个子带图像序列和所述多个子带图像中除所述至少一个子带图像序列之外的子带图像序列采取预设方式进行融合处理,得到目标视频,所述预设方式包括反傅里叶变换。
S206,所述振动检测设备根据所述目标视频确定所述被检测产品的振动数据;
其中,根据放大处理后的得到的目标视频确定所述被检测产品振动数据,根据所述目标视频中像素点灰度值随时间变化的关系得到所述振动数据。
具体实现中,可以通过确定所述目标视频中多个像素点的灰度值相同的图像,确定所述灰度值相同的图像的时间跨度,根据所述时间跨度确定所述被检测产品的振动数据。
S207,所述振动检测设备将所述振动数据导入预训练的质量检测模型,输出质量检测结果。
其中,所述质量检测结果包括所述被检测产品是否为正品,质量等级以及质量评分等,质量等级包括优品、良品以及次品。所述预训练的质量参数模型,可以是在质量检测之前,所述振动检测设备获取所述云端大数据,以云端大数据作为样本,训练得到不同品类、不同产品的质量检测模型。例如,所述被检测产品为瓷砖时,获取瓷砖对应的质量检测模型,再将所述瓷砖的振动数据导入所述对应的质量检测模型,得到该瓷砖为正品,且为优品,质量评分高。
可以看出,本申请实施例中,振动检测设备首先获取被检测产品在振动状态下的原始视频;然后处理所述原始视频得到多个分辨率对应的多个子带图像序列;其次按照预设的分区灰度值筛选策略从所述多个子带图像序列筛选出用于放大处理的至少一个子带图像序列;其次放大处理所述至少一个子带图像序列得到放大处理后的至少一个子带图像序列;其次将所述放大处理后的至少一个子带图像序列和所述多个子带图像序列中除所述至少一个子带图像序列之外的子带图像序列进行融合处理,得到具有运动放大效果的目标视频,所述运动放大效果是指针对所述原始视频中所述被检测产品的发生往复运动的区域影像的放大处理;其次根据所述目标视频确定所述被检测产品的振动数据;最后将所述振动数据导入预训练的质量检测模型,输出质量检测结果。可见,通过振动检测设备获取原始视频,根据预设的分区灰度值筛选策略筛选出用于放大处理的至少一个子带图像序列,对所述至少一个子带图像序列放大处理,以及对放大处理后的至少一个子带图像序列进行融合,得到目标视频,减少了需要进行放大的图像处理运算量,以及提高了对原始视频的处理效率和准确率。
在一个可能的示例中,所述按照预设的分区灰度值筛选策略从所述多个子带图像序列筛选出用于放大处理的至少一个子带图像序列,包括:确定所述多个子带图像序列的前景图像和后景图像,所述前景图像包含所述被检测产品的发生往复运动的区域影像,所述后景图像为除所述被检测产品的影像之外的影像;确定所述前景图像在子带图像中的面积占比;根据所述面积占比和预设的子分区计算公式确定所述前景图像的子分区数量,并按照所述子分区数量划分所述前景图像为多个前景子分区;针对每个子带图像序列,执行以下操作(1)-(6)以得到所述每个子带图像序列的灰度值变化频率:(1)确定当前处理的子带图像序列中每个子带图像的每个前景子分区的被测像素点;(2)根据每个被测像素点在当前子带图像序列包含的多个子带图像的灰度值生成每个被测像素点的灰度值时域变化波形图;(3)针对所述每个前景子分区执行如下(a)(b)(c)操作:(a)根据当前处理的前景子分区包含的多个被测像素点的灰度值时域变化波形图,确定所述当前处理的前景子分区是否包含灰度值周期性变化的被测像素点;(b)若是,则标记所述当前处理的前景子分区为被选择的前景子分区;(c)若否,则标记所述当前处理的前景子分区为未被选择的前景子分区;(4)针对标记后的被选择的多个前景子分区,按照区域关联性将具有相邻关系的前景子分区拼接为振动参考区域;(5)确定所述振动参考区域中多个像素点中灰度值发生周期性变化的多个参考像素点,以及确定每个参考像素点的灰度值变化频率;(6)加权计算所述振动参考区域中所述多个参考像素点的灰度值变化频率,得到所述当前处理的子带图像序列的灰度值变化频率;根据所述每个子带图像序列的灰度值变化频率筛选出符合预设参考振动频率的至少一个子带图像序列。
其中,所述确定所述多个子带图像序列的前景图像和后景图像可以根据所述多个子带图像序列中每个图像的像素点灰度值进行确定;还可以根据所述多个子带图像序列确定在所述原始视频中处于相对静止状态的参考特征点进行确定。其次,根据所述多个子带图像序列中的每个子带图像及每个子带图像的前景图像确定所述前景图像在子带图像的面积占比,以及根据所述面积占比和预设的计算公式计算得到每个前景图像的前景子分区数量,其中,所述前景图像的面积占比越大,所述前景子分区的数量越多。
具体实现中,得到所述多个前景子分区后,根据预设策略确定所述每个前景子分区的被测像素点,如图3所示,图3为一个像素点的灰度值时域变化波形图的示意图,其中,横轴为时间,纵轴为该像素点的灰度值,该图根据子带图像序列中每个子带图像的某个待测像素点的灰度值变化生成。
所述根据当前处理的前景子分区包含的多个被测像素点的灰度值时域变化波形图,确定所述当前处理的前景子分区是否包含灰度值周期性变化的被测像素点,确定所述灰度值时域变化波形图存在周期性波动的波形时,确定该像素点的灰度值为周期性变化,则选择该像素点所在的前景子分区,并进行标记;将被标记的多个前景子分区根据区域关联性或图像色彩空间关联性进行拼接,得到振动参考区域。根据所述参考振动区域的像素点的灰度值变化确定所述参考振动区域中呈周期变化的多个像素点,根据公式计算每个参考像素点的灰度值变化频率,例如:Ht1<\/sub>代表了t1时刻的某个像素点灰度值,Ht2<\/sub>代表了t2时刻的该点的灰度值,该点的灰度值变化频率为设计图
申请码:申请号:CN201910735973.2 申请日:2019-08-09 公开号:CN110245651A 公开日:2019-09-17 国家:CN 国家/省市:94(深圳) 授权编号:CN110245651B 授权时间:20191129 主分类号:G06K 9/00 专利分类号:G06K9/00;G06K9/62;G06T7/00;H04N7/18;H04L29/08 范畴分类:40B; 申请人:深圳市广宁股份有限公司;深圳市豪视智能科技有限公司 第一申请人:深圳市广宁股份有限公司 申请人地址:518000 广东省深圳市南山区粤海街道软件园二期九栋七楼 发明人:高风波 第一发明人:高风波 当前权利人:深圳市广宁股份有限公司;深圳市豪视智能科技有限公司 代理人:郝传鑫;熊永强 代理机构:44202 代理机构编号:广州三环专利商标代理有限公司 优先权:关键词:当前状态:审核中 类型名称:外观设计相关信息详情