全文摘要
本实用新型涉及一种图像重新聚焦的控制系统。该控制系统，包括图案建立模块、图像捕获模块、偏移量获取模块、深度图生成模块以及聚焦模块，通过图案建立模块投射目标物体的特征点图案；图像捕获模块在不同捕获角度且不同焦距下，根据特征点图案捕获至少两幅图像；继而偏移量获取模块获取不同图像中对应同一特征点的像点组像点间的位置偏移量，深度图生成模块根据像点组、位置偏移量以及焦距获取准确度较高的深度信息，生成深度图；聚焦模块根据深度图对目标区域进行聚焦。由此，系统能够实现对图像上目标区域的精确聚焦，提高图像整体的清晰度，提高用户的体验。
主设计要求
1.一种图像重新聚焦的控制系统，其特征在于，包括：图案建立模块，设置为投射目标物体的特征点图案；图像捕获模块，设置为在不同捕获角度且不同焦距下，根据特征点图案捕获至少两幅图像；偏移量获取模块，设置为获取不同图像中对应同一特征点的像点组，获得像点组中像点间的位置偏移量；深度图生成模块，设置为根据像点组、位置偏移量以及焦距获取所述特征点的深度信息，生成深度图；聚焦模块，设置为选定目标图像，根据深度图对图像上的目标区域进行重新聚焦。
设计方案
1.一种图像重新聚焦的控制系统，其特征在于，包括：
图案建立模块，设置为投射目标物体的特征点图案；
图像捕获模块，设置为在不同捕获角度且不同焦距下，根据特征点图案捕获至少两幅图像；
偏移量获取模块，设置为获取不同图像中对应同一特征点的像点组，获得像点组中像点间的位置偏移量；
深度图生成模块，设置为根据像点组、位置偏移量以及焦距获取所述特征点的深度信息，生成深度图；
聚焦模块，设置为选定目标图像，根据深度图对图像上的目标区域进行重新聚焦。
2.根据权利要求1所述的控制系统，其特征在于，所述图案建立模块包括：
第一映射单元，设置为建立目标物体与特征点图案的第一映射关系；
投射单元，设置为根据第一映射关系，利用目标物体向场景投射出特征点图案。
3.根据权利要求2所述的控制系统，其特征在于，所述特征点图案中，特征点按预设规则排列。
4.根据权利要求3所述的控制系统，其特征在于，预设规则排列包括特征点行列规则间隔排列、行规则间隔排列以及列规则间隔排列。
5.根据权利要求2所述的控制系统，其特征在于，所述投射单元包括投影仪。
6.根据权利要求1所述的控制系统，其特征在于，所述图像捕获模块包括多个具有不同光圈的摄像头或一个具有多个光圈的摄像头。
7.根据权利要求1所述的控制系统，其特征在于，所述偏移量获取模块包括：
第一选定单元，设置为选定至少一特征点，根据特征点获取对应的像点组；
第一获取单元，设置为获取像点组中各像点点中心的位置坐标；
第二获取单元，设置为根据所述位置坐标获取像点组中像点间的位置偏移量。
8.根据权利要求7所述的控制系统，其特征在于，所述偏移量获取模块还包括：
第二映射单元，设置为建立特征点与像点间的第二映射关系。
9.根据权利要求1所述的控制系统，其特征在于，所述聚焦模块包括：
第二选定单元，设置为对不同图像对应的焦距进行比较，将最大焦距对应的图像选定为目标图像；
聚焦单元，设置为根据所述深度图对图像上的目标区域进行重新聚焦。
10.一种图像重新聚焦的控制系统，其特征在于，包括：
图案建立模块，设置为投射目标物体的特征点图案；
图像捕获模块，设置为在不同捕获角度且不同焦距下，根据特征点图案捕获至少两幅图像；
偏移量获取模块，设置为获取不同图像中对应同一特征点的像点组，获得像点组中像点间的位置偏移量；
深度图生成模块，设置为根据像点组、位置偏移量以及焦距获取所述特征点的深度信息，生成深度图；
聚焦模块，设置为选定目标图像，根据深度图对图像上的目标区域进行重新聚焦；
其中，所述图案建立模块包括：
第一映射单元，设置为建立目标物体与特征点图案的第一映射关系；
投射单元，设置为根据第一映射关系，利用目标物体向场景投射出特征点图案；
所述图像捕获模块包括多个具有不同光圈的摄像头或一个具有多个光圈的摄像头；
所述偏移量获取模块包括：
第一选定单元，设置为选定至少一特征点，根据特征点获取对应的像点组；
第一获取单元，设置为获取像点组中各像点点中心的位置坐标；
第二获取单元，设置为根据所述位置坐标获取像点组中像点间的位置偏移量；
第二映射单元，设置为建立特征点与像点间的第二映射关系；
所述聚焦模块包括：
第二选定单元，设置为对不同图像对应的焦距进行比较，将最大焦距对应的图像选定为目标图像；
聚焦单元，设置为根据所述深度图对图像上的目标区域进行重新聚焦。
设计说明书
技术领域
本实用新型涉及图像显示技术领域，特别是涉及一种图像重新聚焦的控制系统。
背景技术
图像或视频的重新聚焦是摄影和拍摄的重要手段。示例性的重新聚焦单个图像的方法是使用集成有特殊微透镜阵列的图像传感器，该微透镜阵列具有不同组的焦距。在拍摄快照时，通过控制微透镜阵列对拍摄物体的对焦，使图像传感器的像素被聚焦在不同深度，由此直接实现单个图像或视频的场景重聚焦。
然而，集成有微透镜阵列的图像传感器价格昂贵，成本高，且多焦距的条件下易于降低整体的清晰度。
实用新型内容
基于此，有必要针对目前用于图像重聚焦的集成有微透镜阵列的图像传感器价格昂贵，成本高，且多焦距的条件下易于降低整体清晰度的问题，提供一种图像重新聚焦的控制系统。
为了实现本实用新型的目的，本实用新型采用如下技术方案：
一种图像重新聚焦的控制系统，包括：
图案建立模块，设置为投射目标物体的特征点图案；
图像捕获模块，设置为在不同捕获角度且不同焦距下，根据特征点图案捕获至少两幅图像；
偏移量获取模块，设置为获取不同图像中对应同一特征点的像点组，获得像点组中像点间的位置偏移量；
深度图生成模块，设置为根据像点组、位置偏移量以及焦距获取所述特征点的深度信息，生成深度图；
聚焦模块，设置为选定目标图像，根据深度图对图像上的目标区域进行重新聚焦。
在其中一实施例中，所述图案建立模块包括：
第一映射单元，设置为建立目标物体与特征点图案的第一映射关系；
投射单元，设置为根据第一映射关系，利用目标物体向场景投射出特征点图案。
在其中一实施例中，所述特征点图案中，特征点按预设规则排列。
在其中一实施例中，所述投射单元包括投影仪。
在其中一实施例中，所述图像捕获模块包括多个具有不同光圈的摄像头或一个具有多个光圈的摄像头。
在其中一实施例中，所述偏移量获取模块包括：
第一选定单元，设置为选定至少一特征点，根据特征点获取对应的像点组；
第一获取单元，设置为获取像点组中各像点点中心的位置坐标；
第二获取单元，设置为根据所述位置坐标获取像点组中像点间的位置偏移量。
在其中一实施例中，所述偏移量获取模块还包括：
第二映射单元，设置为建立特征点与像点间的第二映射关系。
在其中一实施例中，所述聚焦模块包括：
第二选定单元，设置为对不同图像对应的焦距进行比较，将最大焦距对应的图像选定为目标图像；
聚焦单元，设置为根据所述深度图对图像上的目标区域进行重新聚焦。
一种图像重新聚焦的控制系统，包括：
图案建立模块，设置为投射目标物体的特征点图案；
图像捕获模块，设置为在不同捕获角度且不同焦距下，根据特征点图案捕获至少两幅图像；
偏移量获取模块，设置为获取不同图像中对应同一特征点的像点组，获得像点组中像点间的位置偏移量；
深度图生成模块，设置为根据像点组、位置偏移量以及焦距获取所述特征点的深度信息，生成深度图；
聚焦模块，设置为选定目标图像，根据深度图对图像上的目标区域进行重新聚焦；
其中，所述图案建立模块包括：
第一映射单元，设置为建立目标物体与特征点图案的第一映射关系；
投射单元，设置为根据第一映射关系，利用目标物体向场景投射出特征点图案；
所述图像捕获模块包括多个具有不同光圈的摄像头或一个具有多个光圈的摄像头；
所述偏移量获取模块包括：
第一选定单元，设置为选定至少一特征点，根据特征点获取对应的像点组；
第一获取单元，设置为获取像点组中各像点点中心的位置坐标；
第二获取单元，设置为根据所述位置坐标获取像点组中像点间的位置偏移量；
第二映射单元，设置为建立特征点与像点间的第二映射关系；
所述聚焦模块包括：
第二选定单元，设置为对不同图像对应的焦距进行比较，将最大焦距对应的图像选定为目标图像；
聚焦单元，设置为根据所述深度图对图像上的目标区域进行重新聚焦。
上述控制系统，包括图案建立模块、图像捕获模块、偏移量获取模块、深度图生成模块以及聚焦模块，通过图案建立模块投射目标物体的特征点图案；图像捕获模块在不同捕获角度且不同焦距下，根据特征点图案捕获至少两幅图像；继而偏移量获取模块获取不同图像中对应同一特征点的像点组像点间的位置偏移量，深度图生成模块根据像点组、位置偏移量以及焦距获取准确度较高的深度信息，生成深度图；聚焦模块根据深度图对目标区域进行聚焦。由此，系统能够实现对图像上目标区域的精确聚焦，提高图像整体的清晰度，提高用户的体验。
附图说明
图1为一实施例中图像重新聚焦的控制系统的系统结构图；
图2为一实施例中特征点图案的示意图；
图3为一实施例中摄像头捕获图像的示意图；
图4为一实施例中一捕获图像像点的示意图；
图5为一实施例中对应同一特征点的像素点组位于XY平面的位置示意图。
具体实施方式
为了便于理解本实用新型，下面将参照相关附图对本实用新型进行更全面的描述。附图中给出了本实用新型的可选实施例。但是，本实用新型可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本实用新型的公开内容的理解更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本实用新型的技术领域的技术人员通常理解的含义相同。本文中在本实用新型的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本实用新型。在本实用新型实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和\/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。同时，本文中使用诸如“第一”、“第二”等序数词来限定本文中的元素并不表示元素之间的优先级、次序或者方法执行的先后顺序，而仅是用于区分具有相同名称的不同元素。
参见图1，图1为一实施例中图像重新聚焦的控制系统的结构图。
本实施例的控制系统包括：图案建立模块101、图像捕获模块102、偏移量获取模块103、深度图生成模块104以及聚焦模块105。其中，图像捕获装置102与图案建立装置101相匹配，偏移量获取装置103连接图像捕获装置102，深度图生成装置104分别连接偏移量获取装置103和聚焦装置105，同时，聚焦装置105还连接图像捕获装置102以选定目标图像。具体地：
图案建立模块101，设置为投射目标物体的特征点图案。
在本实施例中，目标物体是指目标拍摄对象，即最终需要进行重新聚焦的图像拍摄主体，通常该目标物体为具有不同深度的物体，例如三维物体；特征点图案是指与目标物体空间点相对应的投射点图案，可对应不同深度信息。
其中，特征点图案可以按预设规则排列，例如可以是具有规律间隔的稀疏点图案，包括但不限于行列规则间隔的矩阵点、行规则间隔的矩阵点、列规则间隔的矩阵点(请辅助参见图2，图2以行列规则间隔的矩阵点为例，其中小圆圈a代表特征点)；当然，特征点图案也可以是无规则排列的离散点；相邻两个特征点的距离可以相同，也可以不相同，在此，对特征点的具体位置及定义不做进一步的限定。当投射点图案为具有规律间隔的稀疏点图案时，可以减少投射成本，同时，还便于后续步骤选定对应同一特征点的像点组。需要说明的是，在任何时刻位于目标物体上的一个给定点在特征点上只占有一个唯一的位置。
其中，图案建立模块101包括但不限于投影仪等投影组件，可以通过投影仪利用目标物体向场景投射出特征点图案，或者通过其他投影组件利用目标物体向场景投射出特征点图案。
在一实施例中，图案建立模块101包括第一映射单元和投射单元。
第一映射单元，设置为建立目标物体与特征点图案的第一映射关系。
由于在任何时刻位于目标物体上的一个给定点在特征点上只占有一个唯一的位置，因此可以建立目标物体与特征点图案的第一映射关系，例如通过透视投影变换或正交投影变换等获得第一映射关系。
投射单元，设置为根据第一映射关系，利用目标物体向场景投射出特征点图案。
在建立目标物体与特征点图案的第一映射关系后，根据第一映射关系控制投影组件对目标物体投射出特征点图案。在一实施例中，投射单元包括投影仪。
图像捕获模块102，设置为在不同捕获角度且不同焦距下，根据特征点图案捕获至少两幅图像。
在本实施例中，可以采用多个具有不同光圈且位于不同拍摄角度的摄像头对同一场景(即特征点图案)进行多个图像的捕获(请辅助参见图3，图3以两个不同光圈的摄像头为例，其中，第一摄像头10设置为具有较大的光圈值，第二摄像头20设置为具有较小光圈值)；也可以采用一个具有多个光圈的摄像头，在多个拍摄角度对同一场景进行多个图像的捕获。其中，摄像头可以应用在电子设备中，例如应用在手机、平板电脑、车载电脑、穿戴式设备、数码相机等具备拍照、摄像功能的任意电子设备中。
在一个实施例中，图像捕获模块102包括但不限于多个具有不同光圈的摄像头或一个具有多个光圈的摄像头。通过不同摄像头对同一场景进行捕获时，不同摄像头的中心点处在同一平面上；一个摄像头对同一场景进行捕获时，摄像头移动过程中保持中心点的移动轨迹在同一平面上。
在不同的捕获角度且不同焦距下，根据特征点图案可以对同一场景到捕获不同的图像，由于捕获角度不同，因而同一场景不同图像上像点的位置存在偏移；由于焦距不同，同一场景不同图像间存有聚焦的图像和离焦的图像，也使得像点位置发生偏移。其中，离焦的图像对应大光圈摄像头，对应的焦距较大，图像分辨率较高，具有较模糊的像点(参见图4，图像T1为第一摄像头10捕获的图像；其中，像点A1、B1、P1分别对应图3的特征点A、B、P，圆圈中部的点为像点的点中心)；聚焦的图像对应小光圈摄像头，对应的焦距较小，具有较清晰的像点(参见图4，图像T2为第二摄像头20捕获的图像；其中，像点A2、B2、P2分别对应图3的特征点A、B、P)。其中，由于特征点A、B、P对应不同的深度信息，因此，像点A1、B1、P1可以分别处于第一摄像头10所在相机系统的焦平面的不同侧；像点A2、B2、P2可以分别处于第二摄像头20所在相机系统的焦平面的不同侧。
偏移量获取模块103，设置为获取不同图像中对应同一特征点的像点组，获得像点组中像点间的位置偏移量。
在本实施例中，位置偏移量是指不同图像中对应同一特征点的像点组间的位置存在的偏移，在一个实施例中，位置偏移量是指像点组各像点点中心间位置偏移的大小或方向，位置偏移量为矢量偏移。由于任何时刻某一特征点在空间只占有一个唯一的位置，因而每幅图像上每一像点只能与唯一一个特征点对应，由此同一像点组间像点点中心的位置偏移量是唯一的。
在本实施例中，任何时刻某一特征点在空间只占有一个唯一的位置，因而每幅图像上每一像点只能与唯一一个特征点对应，即像点组与特征点具有唯一的映射关系。
偏移量获取模块103包括但不限于图像分析装置。在一个实施例中，偏移量获取模块103包括第一选定单元、第一获取单元以及第二获取单元。
第一选定单元，设置为选定至少一特征点，根据特征点获取对应的像点组。
当选定其中一特征点时，则可以根据映射关系获取该特征点对应的像点组。或者，也可以选定一像点，根据映射关系获取对应特征点，从而根据特征点获取对应同一特征点的其他像点。
第一获取单元，设置为获取像点组中各像点点中心的位置坐标。
在确定同一特征点对应的像点组后，确定像点组各像点的位置，并获取各像点点中心的位置坐标。由于图像对应的捕获焦距不同，因此不同图像的模糊程度不同，也即，同一特征点对应的像点组的图像模糊程度不同，而像点点中心的检测，与图像模糊程度以及环境光照无关，因此在不同成像条件下，通过像点点中心位置坐标计算位置偏移量，能保证测量精度的可靠性，提高深度信息获取的准确度。
第二获取单元，设置为根据所述位置坐标获取像点组中像点间的位置偏移量。
在筛选出同一特征点对应的像点组后，根据像点点中心位置坐标就可以获取位置偏移量。
上述单元中，可以选取捕获图像所在平面为XY平面，并在XY平面上建立二维坐标系，其二维坐标系的原点位置在本申请中不做进一步的限定。以捕获的图像为两幅图像为例，位置偏移量可以将第一图像与第二图像重叠之后映射在XY平面上，并获取两个图像中对应同一特征点的各像点点中心位置坐标之间的矢量距离。例如，选取某一特征点A，根据映射关系选取出与特征点A对应的像点组(辅助参见图3-图5)：A1(位于图像T1)和A2(位于图像T2)，像点A1在XY平面的坐标信息为A1(X11，Y11)，像点A2在XY平面的坐标信息为(X21，Y21)，根据像点A1和像点A2就可以获取位置偏移量D1；B1(位于图像T1)和B2(位于图像T2)，像点B1在XY平面的坐标信息为B1(X12，Y12)，像点B2在XY平面的坐标信息为(X22，Y22)，根据像点B1和像点B2就可以获取位置偏移量D2。
由此，针对每个特征点，可以获取两个图像中对应同一特征点的像点点中心的位置坐标之间的矢量距离；根据确定的多个特征点，可以对获取各个特征点对应的各个像点，以及各个像点组对应的位置偏移量。
在一个实施例中，为了提高特征点与像点组间的匹配度，偏移量获取模块103还包括第二映射单元。
第二映射单元，设置为建立特征点与像点间的第二映射关系。
可通过实验、理论运算等方式或相结合的方式，预先设置特征点与像点间的第二映射关系，继而根据第二映射关系匹配特征点与对应的像点组。在一个实施例中，可以预先建立特征点与像点间的映射关系表，并根据映射关系表拟合出特征点与像点间的第二映射关系。其中，拟合特征点与像点间的映射关系，可以通过设置函数模型，确定出特征点的位置坐标与像点的位置坐标满足的函数，通过计算机几何技术，在二维坐标系中绘制拟合曲线，从而确定特征点的位置坐标与对应像点的位置坐标值满足的函数。
深度图生成模块104，设置为根据像点组、位置偏移量以及焦距获取特征点的深度信息，生成深度图。深度图生成模块104包括但不限于图像分析装置。
在本实施例中，深度图生成模块104根据像点组点中心的位置坐标、像点组点中心的位置偏移量以及所利用的摄像头的焦距获取特征点的深度信息。以两个摄像头捕获图像为例，其中，第一摄像头的中心点、第二摄像头的中心点位于同一平面，可以设定确定两个摄像头的拍摄位置(拍摄角度)和摄像头中心点间的距离以及第一摄像头和第二摄像头的焦距。基于三角测距原理，可以获取特征点与两个摄像头中心点所在平面之间的距离Z，其中，距离Z即为特征点的深度信息。具体地，距离Z＝两个摄像头中心点之间的距离*(第一摄像头或第二摄像头的焦距)\/位置偏移量。其中，由于位置偏移量为矢量，因此深度信息的重建可以扩展到摄像头所在相机系统的焦平面的内外侧。
可选地，本方案还可以适用于包括三个或三个以上的摄像头的电子设备。以三个摄像头为例进行说明，可以构成两两摄像头的组合，每个组合中的两个摄像头可以获取特征点的深度信息，这样就可以获取三组深度信息，可以将三组深度信息的平均深度作为特征点的实际深度。提高深度信息获取的准确度，进而实现对拍摄物体的精确对焦。
在本实施例中，深度图生成模块104可以先获取稀疏点图案对应的深度图。如果需要得到所有特征点的深度信息，可以利用表面内插算法或逼近算法等在已确定的特征点深度信息之间计算出其他未确定特征点的深度值。
聚焦模块105，设置为选定目标图像，根据深度图对图像上的目标区域进行重新聚焦。聚焦模块105包括但不限于图像处理装置。
在本实施例中，先选定需要进行重聚焦的图像，再从目标图像中确定出一目标区域进行重新聚焦。其中，目标区域是指目标图像上感兴趣的区域，例如人像中的脸部区域，或者其他具有特殊标记的区域。目标区域可以根据实际需求进行大小的选取。
在一实施例中，目标图像选取离焦效果较好的图像，即选取光圈较大的摄像头捕获的图像，该图像具有较模糊的点，较高的图像分辨率，进行重新聚焦时对比度更高，重聚焦效果更突出。
例如，聚焦模块105包括第二选定单元和聚焦单元。
第二选定单元，设置为对不同图像对应的焦距进行比较，将最大焦距对应的图像选定为目标图像。第二选定单元可以是图像选取器。
聚焦单元，设置为根据深度图对图像上的目标区域进行重新聚焦。聚焦组件可以是图像处理器。
在一实施例中，可以选定多个目标区域，依次为目标图像的每一目标区域匹配不同的深度信息；根据匹配的深度信息对目标区域进行重新聚焦。对目标区域进行逐一重聚焦的方式，相对于整个目标图像一次聚焦的方式而言，其聚焦精度大大增强，清晰度更好，且对于后期背景虚化的效果有明显提高。
本实施例提供的控制系统，包括图案建立模块、图像捕获模块、偏移量获取模块、深度图生成模块以及聚焦模块，通过图案建立模块投射目标物体的特征点图案；图像捕获模块在不同捕获角度且不同焦距下，根据特征点图案捕获至少两幅图像；继而偏移量获取模块获取不同图像中对应同一特征点的像点组像点间的位置偏移量，深度图生成模块根据像点组、位置偏移量以及焦距获取准确度较高的深度信息，生成深度图；聚焦模块根据深度图对目标区域进行聚焦。由此，系统能够实现对图像上目标区域的精确聚焦，提高图像整体的清晰度，提高用户的体验。
上述控制系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本实用新型的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对实用新型专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本实用新型构思的前提下，还可以做出若干变形和改进，这些都属于本实用新型的保护范围。因此，本实用新型专利的保护范围应以所附权利要求为准。
设计图
相关信息详情
申请码:申请号:CN201920059351.8
申请日:2019-01-14
公开号:公开日:国家:CN
国家/省市:44(广东)
授权编号:CN209710210U
授权时间:20191129
主分类号:H04N5/232
专利分类号:H04N5/232;G06T7/50;H04N13/271
范畴分类:申请人:广东省航空航天装备技术研究所
第一申请人:广东省航空航天装备技术研究所
申请人地址:519040 广东省珠海市金湾区珠海大道6366号2号楼1楼102房
发明人:吕键;曾贵
第一发明人:吕键
当前权利人:广东省航空航天装备技术研究所
代理人:李文渊
代理机构:44224
代理机构编号:广州华进联合专利商标代理有限公司 44224
优先权:关键词:当前状态:审核中
类型名称:外观设计