导读:本文包含了实时立体视觉论文开题报告文献综述、选题提纲参考文献及外文文献翻译，主要关键词:视觉,双目,实时,卷积,模型,神经网络,序列。
实时立体视觉论文文献综述
岳志强[1]（2019）在《基于CNN的双目立体视觉叁维实时重建算法研究》一文中研究指出机器视觉是生物医学工程领域广泛关注的热点问题。模拟人类双目感知原理的双目立体视觉技术已成为机器视觉的重要研究分支。双目立体视觉在医用手术机器人、无人驾驶等领域具有重要的应用价值。双目立体视觉中传统的稠密立体匹配算法在计算过程中产生海量数据,速度慢,难以应用于实时叁维重建;稀疏立体匹配算法计算速度快,但匹配效果差,对噪声敏感。为在一定程度克服上述问题,本研究将卷积神经网络技术引入立体匹配算法对精度与速度进行提升,实现低成本叁维实时重建。首先,使用张正友棋盘标定法对双目相机进行标定。可同时采集两张图像的USB接口双目相机是本研究的硬件基础,但制造过程所形成的光学畸变会严重影响匹配结果。为此,分析了相机成像数学模型和常见的相机标定算法,采用基于MATLAB工具箱的张氏标定法标定了本研究所使用的双目相机,经过特征点提取及迭代计算得到双目相机内参数和外参数,为后续研究做好基础。然后,针对传统匹配算法精度低且耗时的问题,设计了基于卷积神经网络的匹配代价算法。良好的软件平台可加速算法的设计和验证过程。因此,配置了win7系统的vs2013开发环境下的OpenCV3.3.0机器视觉开发库,搭建了Ubuntu16.04系统下的卷积神经网络框架Caffe。利用KITTI数据集中具有真实视差的图像对,构建大量小块图像对正负样本数据集,设计了孪生卷积神经网络结构并设定了各层参数,训练网络模型计算图像对匹配代价。最后,采用半全局匹配算法进行代价聚合、Winner-Take-All策略寻找最优对应点,使用左右一致性检查算法解决因物体遮挡造成匹配点缺失的问题,并通过平滑滤波对视差图进一步优化,获得最终视差图。高精度视差图结合叁角测量原理,获取人颅骨模型及大脑解剖模型的3D点云数据并进行叁维重建。实验结果证明了基于孪生卷积神经网络模型的立体匹配算法对提升匹配精度和速度的有效性和可行性,初步实现实时的双目立体视觉叁维重建。(本文来源于《沈阳工业大学》期刊2019-06-04）
查道路[2]（2019）在《实时双目计算机立体视觉关键技术研究》一文中研究指出视觉是人类感知世界最重要的手段。长久以来,人们一直希望各种机器设备能够获得人类视觉系统感知环境的功能,从而实现自动化。计算机视觉是使用计算机从数字图像或视频中获得高层次理解的一门科学,与传统数字图像处理领域的不同之处在于,它希望从图像中提取叁维结构,以实现对场景的全面理解。双目计算机立体视觉作为计算机视觉的重要分支,它是当前最接近人类视觉系统的叁维信息获取方式。双目计算机立体视觉通过计算同一物体在不同位置获取的两幅图像中的视差,从而获得该物体的叁维信息。双目计算机立体视觉具有低成本、应用场景广泛和高可靠性等优点,被广泛地应用在自动驾驶、家用智能机器人、工业自动化、自动监视等领域。而这些应用场景需要在极短的时间内获得物体精确的叁维信息,对处理的实时性和精确性要求高,并且希望功耗和体积尽可能地减小;本文针对通用双目计算机立体视觉应用场景对实时性、精确性和小型化的需求,分别对双目计算机立体视觉算法优化、深度提取硬件加速、基于低分辨率采集设备的高分辨率图像重建等关键技术进行研究。本文的主要研究工作和创新点如下:(1)考虑到在边缘计算场景下,处理器需要在具有较强的处理能力的同时保持低功耗和低成本,因此本文提出了一种平衡了计算复杂度、内存开销和匹配精度的新算法:为了选择合适的立体匹配算法,深入研究了当前局部算法和全局算法,发现局部算法匹配精度低而全局算法计算复杂度高,不能满足应用场景对算法实时性和精确性的需求。针对当前算法与应用场景需求的矛盾,提出一种基于tile的固定交叉树算法。将高分辨率图像分割为多个tile使用固定的水平和竖直树结构处理,解决了算法内存开销大的问题;利用二阶梯度识别并通过分段权重的方式处理深度不连续区域,解决了深度不连续区域处理困难的问题。在Middlebury标准立体匹配测试集第二版上,实验结果表明:本文提出的算法平均误差为5.45%。本文提出的算法在匹配精度上接近全局算法,并且计算复杂度和内存开销远远小于全局算法,较好地平衡了计算复杂度、内存开销和匹配精度,提高了算法的可配置性,具有良好的鲁棒性和实时性,是一种适合实际应用的立体匹配算法。(2)新提出了一种可重构的高精度实时立体匹配加速方案:综合分析了当前主流的双目计算机立体视觉加速平台及实际应用场景对功耗和成本的需求,选择FPGA作为立体匹配加速方案的实现平台,利用FPGA高度流水的并行架构加速基于tile的固定交叉树算法,实现分辨率可重构的实时立体匹配系统。针对算法的高复杂度,采用奇偶行列两路并行、水平树和竖直树乒乓操作的设计,并在流水线乒乓操作等方面提出了新的实现方式,使用单个特殊架构RAM完成两路并行的乒乓操作,在不增加内存开销的前提下有效地提升了流水线效率,在两路并行下实现了每个周期2个像素输出。我们在单片Kintex-7 FPGA上实现和验证了该方案,在160MHz系统时钟下对1920X 1680分辨率左右视图进行最大视差60像素的立体匹配,输出深度图帧率达到30fps,处理速度达到5806MDE/s,在Middlebury标准立体匹配测试集第二版上平均误差为5.68%。与现有的实现方案相比,本文提出的立体匹配实现方案具有可配置、高分辨率、深度图像细节丰富等优点,在FPGA上的验证证明本文提出的方案能够提供实时精确的高分辨率深度图像,在自动驾驶等复杂场景下有广阔的应用前景。(3)提出了一种基于FPGA的超分辨率方案,为双目计算机立体视觉系统提供高分辨率输入:针对图像采集设备分辨率低,导致部分细节丢失的问题,本文提出了一种基于FPGA的超分辨率方案,利用基于学习的超分辨率算法,将低分辨率的采集图像重建为高分辨率图像。改进了基于局部线性回归的快速超分辨率算法,使用汉明距离替代欧几里得距离作为匹配函数,将低分辨率图像分为多个tile并行处理,在保证精确性和鲁棒性的前提下,极大地降低了匹配函数的计算量。在单片Xilinx Virtex-7 FPGA上实现了超分辨率系统,提出了一种使用叁块双端口RAM拼接的6读6写RAM架构来实现6X6矩阵的乘累加。在100MHz的系统时钟下,实现了放大系数为2、3840×2160分辨率下85fps的输出,处理速度达到700Mpixel/s,同时在超分辨率标准测试集Set 5、Set 14、Kodak、BSD 100上平均结构相似度达到0.89,满足了快速精确的超分辨率的需求。(4)完成了立体匹配系统的IP设计:基于FPGA上的验证系统,在SMIC 40nm工艺下实现了低功耗、轻量级的实时立体匹配IP,通过左右两路LVDS双像素模式采集视频数据,双目校正后作为立体匹配核心的输入,立体匹配核心计算视差并输出到片外DDR3 SDRAM缓存,最终以LVDS形式输出。IP等效门数总计17867k。(本文来源于《中国科学技术大学》期刊2019-05-01）
商海洋[3]（2016）在《基于FPGA的实时双目立体视觉系统的设计与实现》一文中研究指出立体视觉技术是计算机视觉领域中非常重要的研究方向,其通过匹配一对不同视角的图像来提取现实场景中的深度信息,该技术在无人驾驶、无人机、虚拟现实、人机交互以及3DTV等领域广泛应用。在过去几十年中,提出了许多算法以及设计平台来提高系统的精确度与实时性,然而由于在获取立体视觉的深度信息时,其运算量巨大且算法复杂度较高,所以实时获得高质量的深度信息仍然具有较大的挑战性。本文主要提出了基于FPGA+ARM架构的实时双目立体视觉的软、硬件系统设计方案。根据系统方案要求,系统主要包括图像传感器视频的高速接收、极线几何校正、Census变换、半全局立体匹配算法、左右一致性校验以及中值滤波等关键模块。整个立体视觉的系统在单一的Xilinx ZC706开发板上实现,硬件平台以XC7Z045芯片为处理器核心,根据对系统软、硬件功能划分,PS(ARM)端主要是实现软件控制与算法的调试,PL(FPGA)端主要实现视觉算法的并行处理的硬件加速。根据系统支持不同的分辨率输出以及算法的配置模式,系统采用了模块化、参数化的设计思想。在系统设计过程中,摄像头采用APTINA的MT9V034,接口数据为高速LVDS串行传输,可以减少噪声等干扰;极线几何校正采用二元回归多项式方程来模拟矩阵相乘,减少两幅图像坐标存储,大大减少了片上硬件逻辑资源。多项式计算采用流水线技术,明显提高系统的工作频率;由于半全局立体匹配算法的复杂度以及对存储器的要求很高,本文采用有效的计算代价函数的方法,并简化为4个方向进行代价聚合,设计并行缓存器,降低对存储器的要求。中值滤波可以滤除误匹配点以及动态规划带来的条纹等问题。实验结果表明,本设计的系统可以达到视频的实时处理要求,图像的分辨率为640×480,最大视差搜索范围为64个像素,帧率60 fps。对于匹配算法模块的工作频率可以达到130 MHz,可以实现1280×1024@72.2 fps的实时视频处理。(本文来源于《哈尔滨工业大学》期刊2016-12-01）
张为[4]（2016）在《实时双目立体视觉系统的设计与实现》一文中研究指出双目立体视觉系统是基于视差原理,采用标准的立体匹配算法来分析图像中研究对象的深度信息,从而达到对研究对象的3D重构、测量距离等功能。近年来立体视觉分析大部分是在改进前人的方案,同时产生了各种立体匹配构思。现在比较新的立体匹配方案的性能已经可以达到到预期的效果。但是大部分方案相当大的比例是采用程序来实现,很难达到实时处理的需求。随着图像技术的更新,双目立体视觉系统广泛采用硬件架构,但其硬件实现在分析精度和资源占用存在矛盾,一般来讲,复杂的算法需要占用相当多的硬件资源,一些新的算法通过硬件实现的途径是不适合的。基于以上原因,本课题依据已有的算法,产生了一个通过硬件芯片完成立体匹配的算法方案,具体方案是在整合像素差的绝对值之和“SAD”、“census转换”等代价算法进行处理代价初始化之后,通过运用动态规划“DP”的思路优化扫描线,以保证深度图的数据波动趋于平稳,同时滤除更多的噪点,然后借助背景删除、中值过滤等多种处理措施来优化深度图,这样既可以极大地提升视差图的效果,又可以保证处理速度。本课题同时为这个算法搭建了一个髙性能的硬件电路,并采用安富利的spartan6-150T图像开发工具连接日本安奇逻辑的自动调焦高清摄像设备PE1005S来实施。通过测试,这个方案只消耗了整个FPGA四分之一的硬件资源。数据结合已经获得的实验数据,本研究最高可以即时完成分辨率720P帧数大于60的深度图,这个优化在现有的硬件方式的方案中已经具有比较的性能,同时深度图的效果跟其它实现方式相比有很大的提升,由此可以知道它已经兼顾两个特点,分别是资源占用较少和分析精度较髙。虽然仍然有提升的空间,但是现有情况已经可以达到作为客流统计、手势识别等常规应用的产品开发的需求。本论文首先描述了双目立体视觉目前的发展情况,而后介绍了应用的几个算法原理,同时推理出本课题的设计原理,随后对使用方案的硬件系统进行了详解,最终经过所得数据进行全面的分析,证明了本系统是先进可靠的。(本文来源于《湖北工业大学》期刊2016-11-01）
谢理哲,胡轶宁,王松,陈雅丽,严斌[5]（2016）在《叁维面部成像采集系统的实时头部定位——基于立体视觉的方法》一文中研究指出目的提出一种实时、无遮挡、非介入的针对面部叁维采集系统的头部定位方法,以避免由于头位不准确,或者治疗前后的头位的不同导致的面部软组织的叁维采集结果的误差,并最大程度的降低头部定位系统对采集对象的干扰。方法本研究提出并实现了一种针对面部叁维/四维光学采集系统的实时头部定位方法。该方法以双目视觉理论为基础,结合定制的叁维面部标记组件对头部的方位、偏斜、旋转进行实时定位,辅助面部叁维光学采集系统的应用。其方法包括以下步骤:1)对摄像机进行标定;2)将拍摄对象的头部完全置于拍摄区域内部,并将面部标记点组件固定于拍摄对象面部特征位置,采集拍摄记录拍摄对象佩戴标记点组件后的图像;3)利用图像处理算法,实现标记点组件的检测,根据标记点组件的检测结果,结合双目视觉原理,确定标记点组件在叁维世界坐标中的空间坐标;4)利用各特征位置标记点的空间坐标,实现头部的定位。结果利用头部模型进行实验,实验结果表明使用该方法能实时地获得头部的叁维坐标,偏斜角度,旋转角度等情况,实现基于双目视觉的头部定位系统,且定位误差小。并将该方法应用于自愿者,实验结果表明该方法能够较好地应用于人体,据实时、准确。结论该方法能够实时有效地实现头部的实时定位。(本文来源于《第十四次全国数字化口腔医学学术会议论文集》期刊2016-10-20）
侯一凡,王栋,邢帅,徐青,葛忠孝[6]（2016）在《基于立体视觉的在线实时测量系统设计与实现》一文中研究指出为了满足深空探测器实时测量天体表面形貌的需求,设计并实现了一套基于立体视觉的在线实时测量原型系统。该系统通过立体相机实时获取空间天体的立体影像,利用每次观测的一组立体影像来重建其局部表面形状;再对每次重建的局部模型进行连接,得到空间天体完整的表面形貌模型。通过仿真实验验证了该系统的可行性,数据处理的速度与精度可以满足对深空目标进行实时测量的需要。(本文来源于《计算机应用》期刊2016年05期）
张力,黄影平[7]（2016）在《实时双目立体视觉系统的实现》一文中研究指出依据双目立体视觉原理,对双目立体视觉系统的设计与实现展开研究,介绍了双目立体视觉系统的组成,并对系统涉及的主要关键技术进行了探讨。结合相关的硬件设备,利用VS2012软件开发平台实现了双目立体视觉系统。该系统可实时地进行图像采集、边缘检测、立体匹配等功能,同时由于采用3种确认算法,最大限度地去除错误匹配,得到良好的视差图。(本文来源于《电子科技》期刊2016年03期）
马传芹,陈培才,孙钢,王光民,杨凤伟[8]（2016）在《X线实时立体视觉装置下经皮肺穿刺活检术中护理配合及效果评价》一文中研究指出目的总结在X线实时立体视觉装置下经皮肺穿刺活检术中的护理工作经验。方法对38例实施X线实时立体视觉装置下经皮肺穿刺活检患者的护理工作效果进行回顾性分析。结果本组穿刺成功率为100%,穿刺后气胸(压缩30%以内)及肺内出血(表现为肺内阴影扩大或咯血)的发生率分别为13.2%(5/38)和10.5%(4/38),未行特殊治疗、精心护理逐渐恢复。结论 X线实时立体视觉装置下经皮肺穿刺在肺周边疾病中的成功率高。穿刺顺利完成与护理工作密不可分,护理在减少和预防穿刺后并发症发生中具有重要的价值。(本文来源于《临床合理用药杂志》期刊2016年07期）
许允喜,陈方[9]（2016）在《基于多帧序列运动估计的实时立体视觉定位》一文中研究指出同时优化运动和结构的集束调整方法存在对初始值依赖太大,收敛速度慢,收敛发散等数值稳定性低的缺点。本文提出了一种新的用于立体视觉定位的多帧序列运动估计方法,该方法收敛速度快,能收敛到全局最小,可大大减少积累误差。立体视觉定位仿真实验和户外智能车真实实验表明:基于多帧运动估计的实时立体视觉定位算法在计算精度、运行时间、抗噪声、对初始参数的稳定性方面都优于基于集束调整的实时立体视觉定位算法。(本文来源于《光电工程》期刊2016年02期）
刘博,陈剑,周平,谭治英[10]（2015）在《基于多特征的实时立体视觉检测方法》一文中研究指出为实现传统工业机器人、智能移动平台的精密装配和精细操作,提出一种高精度的实时立体视觉检测方法。在低分辨率的双目立体视觉系统进行Harris角点特征提取时,融合激光传感器特征,提高角点检测的精确度,使用基于图像轮廓方向向量的图像金字塔特征结合激光线成像特征的方法,进行目标粗略检测,通过激光位移传感器提供位移信息,结合元件感兴趣区域的先验知识特征控制高分辨率的单目相机进行精确检测。实验结果表明,与其它算法相比,该方法具有较高的计算效率和准确性。(本文来源于《计算机工程与设计》期刊2015年12期）
实时立体视觉论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
视觉是人类感知世界最重要的手段。长久以来,人们一直希望各种机器设备能够获得人类视觉系统感知环境的功能,从而实现自动化。计算机视觉是使用计算机从数字图像或视频中获得高层次理解的一门科学,与传统数字图像处理领域的不同之处在于,它希望从图像中提取叁维结构,以实现对场景的全面理解。双目计算机立体视觉作为计算机视觉的重要分支,它是当前最接近人类视觉系统的叁维信息获取方式。双目计算机立体视觉通过计算同一物体在不同位置获取的两幅图像中的视差,从而获得该物体的叁维信息。双目计算机立体视觉具有低成本、应用场景广泛和高可靠性等优点,被广泛地应用在自动驾驶、家用智能机器人、工业自动化、自动监视等领域。而这些应用场景需要在极短的时间内获得物体精确的叁维信息,对处理的实时性和精确性要求高,并且希望功耗和体积尽可能地减小;本文针对通用双目计算机立体视觉应用场景对实时性、精确性和小型化的需求,分别对双目计算机立体视觉算法优化、深度提取硬件加速、基于低分辨率采集设备的高分辨率图像重建等关键技术进行研究。本文的主要研究工作和创新点如下:(1)考虑到在边缘计算场景下,处理器需要在具有较强的处理能力的同时保持低功耗和低成本,因此本文提出了一种平衡了计算复杂度、内存开销和匹配精度的新算法:为了选择合适的立体匹配算法,深入研究了当前局部算法和全局算法,发现局部算法匹配精度低而全局算法计算复杂度高,不能满足应用场景对算法实时性和精确性的需求。针对当前算法与应用场景需求的矛盾,提出一种基于tile的固定交叉树算法。将高分辨率图像分割为多个tile使用固定的水平和竖直树结构处理,解决了算法内存开销大的问题;利用二阶梯度识别并通过分段权重的方式处理深度不连续区域,解决了深度不连续区域处理困难的问题。在Middlebury标准立体匹配测试集第二版上,实验结果表明:本文提出的算法平均误差为5.45%。本文提出的算法在匹配精度上接近全局算法,并且计算复杂度和内存开销远远小于全局算法,较好地平衡了计算复杂度、内存开销和匹配精度,提高了算法的可配置性,具有良好的鲁棒性和实时性,是一种适合实际应用的立体匹配算法。(2)新提出了一种可重构的高精度实时立体匹配加速方案:综合分析了当前主流的双目计算机立体视觉加速平台及实际应用场景对功耗和成本的需求,选择FPGA作为立体匹配加速方案的实现平台,利用FPGA高度流水的并行架构加速基于tile的固定交叉树算法,实现分辨率可重构的实时立体匹配系统。针对算法的高复杂度,采用奇偶行列两路并行、水平树和竖直树乒乓操作的设计,并在流水线乒乓操作等方面提出了新的实现方式,使用单个特殊架构RAM完成两路并行的乒乓操作,在不增加内存开销的前提下有效地提升了流水线效率,在两路并行下实现了每个周期2个像素输出。我们在单片Kintex-7 FPGA上实现和验证了该方案,在160MHz系统时钟下对1920X 1680分辨率左右视图进行最大视差60像素的立体匹配,输出深度图帧率达到30fps,处理速度达到5806MDE/s,在Middlebury标准立体匹配测试集第二版上平均误差为5.68%。与现有的实现方案相比,本文提出的立体匹配实现方案具有可配置、高分辨率、深度图像细节丰富等优点,在FPGA上的验证证明本文提出的方案能够提供实时精确的高分辨率深度图像,在自动驾驶等复杂场景下有广阔的应用前景。(3)提出了一种基于FPGA的超分辨率方案,为双目计算机立体视觉系统提供高分辨率输入:针对图像采集设备分辨率低,导致部分细节丢失的问题,本文提出了一种基于FPGA的超分辨率方案,利用基于学习的超分辨率算法,将低分辨率的采集图像重建为高分辨率图像。改进了基于局部线性回归的快速超分辨率算法,使用汉明距离替代欧几里得距离作为匹配函数,将低分辨率图像分为多个tile并行处理,在保证精确性和鲁棒性的前提下,极大地降低了匹配函数的计算量。在单片Xilinx Virtex-7 FPGA上实现了超分辨率系统,提出了一种使用叁块双端口RAM拼接的6读6写RAM架构来实现6X6矩阵的乘累加。在100MHz的系统时钟下,实现了放大系数为2、3840×2160分辨率下85fps的输出,处理速度达到700Mpixel/s,同时在超分辨率标准测试集Set 5、Set 14、Kodak、BSD 100上平均结构相似度达到0.89,满足了快速精确的超分辨率的需求。(4)完成了立体匹配系统的IP设计:基于FPGA上的验证系统,在SMIC 40nm工艺下实现了低功耗、轻量级的实时立体匹配IP,通过左右两路LVDS双像素模式采集视频数据,双目校正后作为立体匹配核心的输入,立体匹配核心计算视差并输出到片外DDR3 SDRAM缓存,最终以LVDS形式输出。IP等效门数总计17867k。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
实时立体视觉论文参考文献
[1].岳志强.基于CNN的双目立体视觉叁维实时重建算法研究[D].沈阳工业大学.2019
[2].查道路.实时双目计算机立体视觉关键技术研究[D].中国科学技术大学.2019
[3].商海洋.基于FPGA的实时双目立体视觉系统的设计与实现[D].哈尔滨工业大学.2016
[4].张为.实时双目立体视觉系统的设计与实现[D].湖北工业大学.2016
[5].谢理哲,胡轶宁,王松,陈雅丽,严斌.叁维面部成像采集系统的实时头部定位——基于立体视觉的方法[C].第十四次全国数字化口腔医学学术会议论文集.2016
[6].侯一凡,王栋,邢帅,徐青,葛忠孝.基于立体视觉的在线实时测量系统设计与实现[J].计算机应用.2016
[7].张力,黄影平.实时双目立体视觉系统的实现[J].电子科技.2016
[8].马传芹,陈培才,孙钢,王光民,杨凤伟.X线实时立体视觉装置下经皮肺穿刺活检术中护理配合及效果评价[J].临床合理用药杂志.2016
[9].许允喜,陈方.基于多帧序列运动估计的实时立体视觉定位[J].光电工程.2016
[10].刘博,陈剑,周平,谭治英.基于多特征的实时立体视觉检测方法[J].计算机工程与设计.2015
论文知识图
