全文摘要
本发明公开了一种无人机遥感影像实时拼接方法及系统，包括：实时接收无人机回传的航拍数据，包括：实时航拍影像及对应的POS数据；基于POS数据定位定向影像获得影像的地理信息；基于无人机相机的内方位元素校正影像镜头畸变，基于POS数据中的外方位元素几何校正影像，结合步骤2获得的影像位置信息地理对校正后的影像进行配准；对配准后的影像进行切片；融合拼接切片得到的瓦片并发布为标准的地图服务供浏览器端使用；本方法及系统能够实时定位定向、校正及拼接无人机回传的影像，实时呈现无人机航拍区域的全域实景地图。
主设计要求
1.一种无人机遥感影像实时拼接方法，其特征在于，所述方法包括：步骤1：实时接收无人机回传的航拍数据，包括：实时航拍影像及对应的POS数据；步骤2：基于POS数据定位定向影像获得影像的地理信息；步骤3：基于无人机相机的内方位元素校正影像镜头畸变，基于POS数据中的外方位元素几何校正影像，结合步骤2获得的影像地理信息对校正后的影像进行配准；步骤4：对配准后的影像进行切片；步骤5：融合拼接切片得到瓦片并发布为标准的地图服务供浏览器端使用；所述基于POS数据中的外方位元素几何校正影像，具体包括：采集无人机原始影像，无人机原始影像的边框矩形为第一矩形；由于无人机俯仰角的影响，无人机原始影像在成像时产生梯形形变；根据第一矩形校正俯仰角引起的梯形形变得到第一梯形ABEF，第一梯形ABEF的获得方式具体为：通过解算获得第一梯形ABEF的上底与下底长度及第一梯形ABEF的高度，进而获得第一矩形对应的第一梯形ABEF；将第一梯形ABEF的最小外接矩形作为第二矩形ABCD；由于无人机翻滚角的影响，第二矩形在成像时产生梯形形变；根据第二矩形ABCD校正翻滚角引起的梯形形变得到第二梯形A'B'C'D'，第二梯形A'B'C'D'的获得方式具体为：通过解算获得第二梯形A'B'C'D'四个顶点，进而获得第二矩形ABCD对应的第二梯形A'B'C'D'；依据第二梯形A'B'C'D'解算得到第一四边形A'B'E'F'，根据第一梯形ABEF上底与下底中较短的底EF的两个端点E和F在第二矩形CD边上的相对位置，通过透视变换得到第一四边形的两个顶点E'和F'在边C'D'上的位置；通过无人机偏航角对应的二维旋转矩阵旋转变换第一四边形的四个顶点得到第二四边形，第二四边形为无人机原始影像校正后的影像形状；根据第一矩形四个顶点在像素坐标系下的坐标与第二四边形的四个顶点在像素坐标系下的坐标的对应关系，解算得到原始影像和校正后影像的单应性变换矩阵；根据单应性变换矩阵与原始影像各像素点的像素值，计算得到校正后影像各个像素点的像素值，得到校正后的影像。
设计方案
1.一种无人机遥感影像实时拼接方法，其特征在于，所述方法包括：
步骤1：实时接收无人机回传的航拍数据，包括：实时航拍影像及对应的POS数据；
步骤2：基于POS数据定位定向影像获得影像的地理信息；
步骤3：基于无人机相机的内方位元素校正影像镜头畸变，基于POS数据中的外方位元素几何校正影像，结合步骤2获得的影像地理信息对校正后的影像进行配准；
步骤4：对配准后的影像进行切片；
步骤5：融合拼接切片得到瓦片并发布为标准的地图服务供浏览器端使用；
所述基于POS数据中的外方位元素几何校正影像，具体包括：
采集无人机原始影像，无人机原始影像的边框矩形为第一矩形；由于无人机俯仰角的影响，无人机原始影像在成像时产生梯形形变；根据第一矩形校正俯仰角引起的梯形形变得到第一梯形ABEF，第一梯形ABEF的获得方式具体为：通过解算获得第一梯形ABEF的上底与下底长度及第一梯形ABEF的高度，进而获得第一矩形对应的第一梯形ABEF；
将第一梯形ABEF的最小外接矩形作为第二矩形ABCD；由于无人机翻滚角的影响，第二矩形在成像时产生梯形形变；根据第二矩形ABCD校正翻滚角引起的梯形形变得到第二梯形A'B'C'D'，第二梯形A'B'C'D'的获得方式具体为：通过解算获得第二梯形A'B'C'D'四个顶点，进而获得第二矩形ABCD对应的第二梯形A'B'C'D'；
依据第二梯形A'B'C'D'解算得到第一四边形A'B'E'F'，根据第一梯形ABEF上底与下底中较短的底EF的两个端点E和F在第二矩形CD边上的相对位置，通过透视变换得到第一四边形的两个顶点E'和F'在边C'D'上的位置；
通过无人机偏航角对应的二维旋转矩阵旋转变换第一四边形的四个顶点得到第二四边形，第二四边形为无人机原始影像校正后的影像形状；
根据第一矩形四个顶点在像素坐标系下的坐标与第二四边形的四个顶点在像素坐标系下的坐标的对应关系，解算得到原始影像和校正后影像的单应性变换矩阵；
根据单应性变换矩阵与原始影像各像素点的像素值，计算得到校正后影像各个像素点的像素值，得到校正后的影像。
2.根据权利要求1所述的一种无人机遥感影像实时拼接方法，其特征在于，所述方法还包括：浏览器端动态获取融合拼接后的瓦片，并加载最新融合拼接后的瓦片进行可视化展示；将融合拼接后的瓦片发布为标准的TMS服务；利用WebSocket实时通知浏览器端加载实景地图的最新可视范围；浏览器端根据最新可视范围加载相应层级的最新瓦片实景地图。
3.根据权利要求1所述的一种无人机遥感影像实时拼接方法，其特征在于，本方法中将对配准后的影像进行切片和融合拼接切片得到的瓦片，具体包括：
步骤a：检测单张无人机遥感影像的坐标系，若不是墨卡托投影坐标系，则转换为墨卡托投影坐标系，用于在地图上呈现影像；
步骤b：确定影像支持的最大缩放层级N，N为大于1的整数；
步骤c：将影像的分辨率与第N层级的分辨率对齐；
步骤d：对影像进行切片获得第N层级的瓦片；
步骤e：基于第N层级的瓦片依次生成第N-1层级至第1层级的瓦片；
步骤f：根据时序及瓦片标识逐层融合拼接第1层级至第N层级的瓦片；
其中，步骤d和步骤e生成瓦片时，瓦片能够存储为任意图片格式；如果考虑地图服务，则需要将瓦片存储为HTTP Content-Type所支持的图片格式并对瓦片做透明化处理；当瓦片存储为jpg或png格式时，将不包含nodata的瓦片存储为jpg格式，包含nodata的瓦片存储为png格式；在地图服务端统一设置地图边界，仅能够请求边界范围内的瓦片；请求边界范围内的瓦片时忽略请求的瓦片存储格式，直接返回实际存储的瓦片。
4.根据权利要求1所述的一种无人机遥感影像实时拼接方法，其特征在于，实时接收无人机航拍数据，获得无人机拍摄影像时的空间位置和三轴姿态信息，空间位置包括无人机的经度、纬度、高程，三轴姿态信息包括无人机相对于导航坐标系的翻滚角、俯仰角、偏航角。
5.根据权利要求1所述的一种无人机遥感影像实时拼接方法，其特征在于，步骤2还包括：根据无人机采集的POS数据中的外方位元素，结合无人机相机与GPS、IMU的安装距离误差以及姿态角偏移导致的投影误差对影像的地理位置进行校正。
6.根据权利要求1所述的一种无人机遥感影像实时拼接方法，其特征在于，配准时根据相机CCD尺寸、影像分辨率以及相对无人机航高计算出地面像素分辨率，利用像素分辨率和校正后的影像中心点坐标配准影像。
7.根据权利要求1所述的一种无人机遥感影像实时拼接方法，其特征在于，第一梯形ABEF的高设计说明书
技术领域
本发明涉及无人机遥感影像处理技术领域，具体地，涉及一种无人机遥感影像实时拼接方法及系统。
背景技术
目前无人机航测主要通过无人机航拍外业获得遥感影像，内业离线处理影像提供地图服务。这种技术流程复杂、内外业分离、响应周期长，无法满足有快速响应需求的应用场景。此外，无人机实时直播视频数据只能得到局部区域信息，无法实时提供全局态势。
在应急救援等对实时响应速度要求较高的场景，需要航测作业实时处理遥感影像，提供全局态势地图服务。
发明内容
本发明提供了一种无人机遥感影像的实时拼接方法与系统，能够在无人机航拍作业过程中，实时定位定向、校正及拼接回传影像，实时呈现无人机航拍区域的全域实景地图，满足应急场景下的实时成图需求。
为实现上述发明目的，本发明一方面提供了一种无人机遥感影像实时拼接方法，所述方法包括：
步骤1：实时接收无人机回传的航拍数据，包括：实时航拍影像及对应的POS数据；
步骤2：基于POS（Position and Orientation System，定位定向系统）数据获得影像的地理信息；
步骤3：基于无人机相机的内方位元素校正影像镜头畸变，基于POS数据中的外方位元素几何校正影像，结合步骤2获得的影像地理信息对校正后的影像进行配准；
步骤4：对步骤3配准后的影像进行切片；
步骤5：融合拼接切片得到的瓦片并发布为标准的地图服务供浏览器端使用。
优选的，实时接收无人机航拍数据，获得无人机拍摄影像时的空间位置和三轴姿态信息，空间位置包括无人机的经度、纬度、高程，三轴姿态信息包括无人机相对于导航坐标系的翻滚角、俯仰角、偏航角。
优选的，步骤2还包括：根据无人机拍摄的外方位元素，基于无人机相机和GPS与IMU（Inertial Measurement Unit）的安装距离误差以及姿态角偏移导致的投影误差校正影像的地理位置。
优选的，配准时根据相机CCD尺寸、影像分辨率以及相对无人机航高计算出地面像素分辨率，利用像素分辨率和校正后的影像中心点坐标配准影像。
优选的，所述方法还包括：浏览器动态获取融合拼接后的瓦片，并加载最新融合拼接后的瓦片进行可视化展示。
优选的，所述方法具体为：将融合拼接后的瓦片发布为标准的TMS服务；利用WebSocket实时通知浏览器前端加载实景地图的最新可视范围；浏览器端根据最新可视范围加载相应层级的最新瓦片实景地图。
图片切片技术是按照金字塔方式将带有地理坐标的影像切为小图片的技术。将无人机拍摄的遥感影像发布为地图服务，可以通过浏览器访问，目前主要有两种处理方法，一种是将所有遥感影像拼接成一张大图，对大图切片后发布为地图服务；另一种是对单张影像进行流式切片后将每张影像作为独立图层发布为地图服务，叠加之后通过浏览器展示。
第一种方法需要把遥感影像先拼接再切片，无法满足实时场景需求。第二种方法虽然能够实时处理，但是只适用于较少影像的场景，随着影像增多，图层数量增加，当影像达到一定数量时浏览器的负载变大，性能下降，无法满足实时应用。本发明提供了一种无人机遥感影像的切片方法，解决了现有切片技术的实时性问题、边界瓦片黑白边问题、浏览器端的性能加载问题，能够在无人机航拍作业时对校正后的影像进行切片及处理，实时将无人机拍摄的遥感影像以地图服务形式流畅呈现给用户。本方法中将对影像进行切片和融合拼接切片得到的瓦片，具体包括：
步骤a：检测单张无人机遥感影像的坐标系，若不是墨卡托投影坐标系，则转换为墨卡托投影坐标系，用于在地图上呈现影像；
步骤b：确定影像支持的最大缩放层级N，N为大于1的整数；
步骤c：将影像的分辨率与第N层级的分辨率对齐；
步骤d：对影像进行切片获得第N层级的瓦片；
步骤e：基于第N层级的瓦片依次生成第N-1层级至第1层级的瓦片；
步骤f：根据时序及瓦片标识逐层融合拼接第1层级至第N层级的瓦片；
优选的，根据影像的像素分辨率及墨卡托投影坐标算法，四叉树切割地图。每次切割后对应图层墨卡托投影坐标系的初始分辨都会变大，直到小于影像的分辨率。影像支持的最大缩放层级为最大切割次数减一。
其中，步骤d和步骤e生成瓦片时，瓦片能够存储为任意图片格式。如果考虑地图服务，则需要将瓦片存储为HTTP Content-Type所支持的图片格式并对瓦片做透明化处理。当瓦片存储为jpg或png格式时，不包含nodata的瓦片（即非边界瓦片）存储为jpg格式，包含nodata的瓦片（即边界瓦片）存储为png格式。在地图服务端统一设置地图边界，仅可以请求边界范围内的瓦片。请求边界范围内的瓦片时忽略请求的瓦片存储格式，直接返回实际存储的瓦片，能够同时解决边界瓦片黑白边问题及png图片过大导致的加载过慢问题。其中，本方法针对校正后的单张无人机遥感影像，将对第N层级切片获得的瓦片作为瓦片地图金字塔模型的底层；其余层级的瓦片都通过重采样其下一层瓦片生成；根据时序及瓦片标识融合拼接瓦片。
优选的，所述步骤d具体包括：根据瓦片数据规范确定每张瓦片的大小及在影像中的像素坐标，从影像左上角开始，从左至右、从上到下进行切分，将影像切分为若干个单张瓦片，瓦片不完整的部分用nodata填充。
优选的，步骤f在融合拼接瓦片时，将瓦片转换为矩阵。此矩阵可以获得瓦片通道中相同行列所有像素点的像素值，这些像素值分别可以视为一组向量v。nodata像素点的像素值在所属通道中统一视为标量0。因此可以通过向量运算判断新瓦片是否包含nodata。
优选的，步骤f融合拼接瓦片时，将瓦片转换为矩阵。对于包含nodata的新瓦片，将影像通道中相同行列的像素点的像素值视为一组向量v，各像素点的像素值为v中各通道标量。向量v视影像通道个数不同为单项式或者多项式。将原切片生成的瓦片和新瓦片对应向量v中的各项标量按通道顺序一一对应做“或运算”，并替换原切片生成的瓦片。
其中，采用上述两种方法将瓦片的融合拼接耗时约降至逐像素方式的1\/6。
优选的，本方法中的几何校正，可以采用传统的几何校正方法，也可以采用本发明中的改进后的几何校正方法，为了解决无法设立控制点或无控制点的应急应用场景下微小数据扰动可能引起较大校正误差的问题，本发明提供了改进后的几何校正方法为实时拼接无人机遥感影像时的快速几何校正提供支持，本发明方法针对俯仰角、翻滚角、偏航角引起的几何形变，利用三维几何模型快速几何校正原始影像。
现有的无控制点几何校正方法通过变换坐标系，将IMU坐标系变换到地面测量坐标系，将校正后的POS参数直接作为影像外方位元素，通过共线条件方程和间接法影像几何校正无人机遥感影像。该校正过程需要相机与IMU安装角的误差等数据，这些数据在应急场景下难以获得，并且可能面临多个矩阵乘积引起的计算误差以及部分矩阵对误差敏感，导致微小数据误差引起较大校正误差的问题。
所述基于POS数据中的外方位元素对影像进行几何校正，具体包括：
采集无人机原始遥感影像；由于无人机俯仰角的影响，无人机原始遥感影像在成像时产生梯形形变，校正俯仰角引起的梯形形变得到原始影像对应的第一梯形ABEF；
将第一梯形ABEF的最小外接矩形作为第二矩形ABCD，即以第一梯形ABEF的上底与下底中较长的底AB作为第二矩形ABCD的长，以第一梯形ABEF的高作为第二矩形ABCD的宽；由于无人机翻滚角的影响，第二矩形ABCD在成像时产生梯形形变，校正翻滚角引起的梯形形变得到第二矩形ABCD对应的第二梯形A'B'C'D'；
依据第二梯形A'B'C'D'解算得到第一四边形A'B'E'F'，根据第一梯形ABEF上底与下底中较短的底EF的两个端点E和F在第二矩形CD边上的相对位置，通过透视变换得到第一四边形A'B'E'F'的两个顶点E'和F'在边C'D'上的位置；
通过无人机偏航角对应的二维旋转矩阵旋转变换第一四边形的四个顶点得到第二四边形，即校正后的影像形状；
根据第一矩形四个顶点在像素坐标系下的坐标与第二四边形的四个顶点在像素坐标系下的坐标的对应关系，解算得到原始影像和校正后影像的单应性变换矩阵；
根据单应性变换矩阵与原始影像各像素点的像素值，计算得到校正后影像各个像素点的像素值，即得到校正后的影像。
优选的，原始影像的边框矩形为第一矩形。
优选的，第一梯形的高：
设计图
相关信息详情
申请码:申请号:CN201910792980.6
申请日:2019-08-27
公开号:CN110310248A
公开日:2019-10-08
国家:CN
国家/省市:90(成都)
授权编号:CN110310248B
授权时间:20191126
主分类号:G06T 5/00
专利分类号:G06T5/00;G06T3/40;G06T7/33;G01C21/20;G01C21/16
范畴分类:40B;
申请人:成都数之联科技有限公司
第一申请人:成都数之联科技有限公司
申请人地址:610000 四川省成都市武侯区一环路西一段菊乐路口1栋4层2号
发明人:不公告发明人
第一发明人:不公告发明人
当前权利人:成都数之联科技有限公司
代理人:熊曦
代理机构:51220
代理机构编号:成都行之专利代理事务所（普通合伙）
优先权:关键词:当前状态:审核中
类型名称:外观设计