基于跨视角匹配的图像地理位置定位研究

论文摘要

基于跨视角匹配的图像地理位置定位任务是将待查询的地面视角图像与参考数据集里带有GPS标记的航拍（卫星）图像进行比对,从而确定待查询的地面视角图像的地理位置（GPS坐标）。然而,由于地面和卫星图像视角的剧烈变化,导致地面和卫星图像间的视觉内容差异巨大,这也使得跨视角图像匹配具有较大的挑战性。本文通过对当前研究的跨视角图像匹配问题的几个研究热点方向进行研究总结,从跨视角图像的表征、距离度量和视角转换等多个角度入手,主要研究工作如下:1)基于表征学习的跨视角图像地理位置定位算法本文提出了一种用于解决跨视角图像地理定位问题的端到端网络,即GeoNet。该网络通过融合多个卷积层和胶囊层来捕获特征表示及其关系,从而进一步对空间特征层次进行建模,增强表征能力。此外,本文还提出了一种简单有效的基于在线批量的难样本挖掘的加权软边界损失函数（weighted soft-margin triplet loss with batch hard-mining）,它不仅避免了使用三元组损失函数（triple loss）和四元组损失函数（quadruple loss）时边界（margin）参数的选择,而且提高了图像检索的准确率。在两个公开的图像地理定位数据集CVUSA和Vo and Hay上进行的大量实验表明,本文提出的GeoNet在跨视角图像地理定位方面的性能显著优于当前最先进的方法。同时该网络在小样本学习、编码长度和存储空间效率等方面也优于其他方法。2)基于视角转换的跨视角图像地理位置定位算法另外,本文提出另一种多阶段学习算法去解决跨视角（即地面和航拍图）图像地理定位问题。即先将地面视角的查询图像转换为航拍视角图像,然后在航拍视角下进行相似度学习。本文首先使用并改进了Pix2Pix-Gan网络,实现了航拍（卫星）图像到地面图像之间的转换,通过生成对抗网络（GAN）将地面视角的查询图像转换到航拍视角,使得查询图像和参考数据集图像同属一个视角。将跨视角问题转换为同一视角问题,从而减少了跨视角匹配的复杂度。然后,本文设计了Siamese架构双分支网络,并采用了加权软边界三元组损失函数进行相似度度量,使相同地理位置的图像对距离相互靠近,不同地理位置的图像对相互远离。在上述两个公开数据集上的实验证明了本文方法的有效性和先进性。

论文目录

• 摘要
• Abstract
• 第1章 绪论
•   1.1 研究背景和意义
•   1.2 国内外研究现状
•     1.2.1 手工提取特征
•     1.2.2 深度特征
•     1.2.3 主要存在的问题
•   1.3 本文研究内容
•   1.4 本文组织结构
• 第2章 相关技术及研究
•   2.1 卷积神经网络理论
•     2.1.1 感知器
•     2.1.2 神经元模型
•     2.1.3 神经网络
•     2.1.4 卷积神经网络
•   2.2 胶囊神经网络
•     2.2.1 卷积神经网络的缺陷
•     2.2.2 胶囊工作原理
•     2.2.3 动态路由算法
•   2.3 生成对抗网络
•   2.4 现有方法简介
•   2.5 数据集与评估标准
•   2.6 本章小结
• 第3章 基于表征学习的跨视角图像地理位置定位算法
•   3.1 引言
•   3.2 网络架构
•   3.3 度量学习损失函数
•     3.3.1 对比损失函数
•     3.3.2 三元组损失函数
•     3.3.3 四元组损失函数
•     3.3.4 加权软边界损失函数
•   3.4 难样本挖掘
•     3.4.1 基于训练批量的难样本挖掘三元组损失函数
•     3.4.2 边界样本挖掘损失函数
•     3.4.3 基于批量的难样本挖掘加权软边界损失函数
•   3.5 实验设置
•   3.6 实验结果
•     3.6.1 性能对比
•     3.6.2 ResNetX分析
•     3.6.3 胶囊层分析
•     3.6.4 基于批量的难样本挖掘加权软边界损失函数的分析
•   3.7 本章小结
• 第4章 基于视角转换的跨视角图像地理位置定位算法
•   4.1 引言
•   4.2 系统架构
•   4.3 图像视角转换
•     4.3.1 对抗损失函数
•     4.3.2 网络结构
•   4.4 相似度学习
•   4.5 实验设置
•   4.6 实验结果
•     4.6.1 与现有方法的比较
•     4.6.2 转换效果分析
•     4.6.3 损失函数对比
•     4.6.4 网络结构对比
•     4.6.5 模型比较
•   4.7 本章小结
• 第5章 总结与展望
• 参考文献
• 致谢
• 攻读硕士学位期间的研究成果

文章来源

类型: 硕士论文

作者: 孙彬

导师: 朱映映

关键词: 地理位置定位,跨视角图像匹配,表征学习,相似度学习,视角转换

来源: 深圳大学

年度: 2019

分类: 基础科学,信息科技

专业: 自然地理学和测绘学,计算机软件及计算机应用

单位: 深圳大学

分类号: P228.4;TP391.41

DOI: 10.27321/d.cnki.gszdu.2019.000578

总页数: 74

文件大小: 3173k

下载量: 24