基于RGB-D相机的激光点取物体识别与抓取

论文摘要

随着人口老龄化的加剧,对助老助残机器人需求机器人需求与日俱增。为了满足残障人士及老年人对生活品质的追求,减轻护理人员看护压力,因此需要开发一款帮助残障人士及老年人的载臂智能轮椅机器人（Wheelchair Mounted Robotic Arm,WMRA）。在WMRA机器人执行任务时,鉴于WMRA机器人对交互感与易用性的迫切渴求,以提升易用性与交互感为目标,提出并研制一种基于激光点交互式WMRA助老助残机器人。并在基于You Only Look Once v3（YO LO v3）算法环境中激光点精准检测、基于点云信息的物体识别与定位、基于示教的物体抓取以及基于机器人操作系统的集成等关键技术进行研究,最终实现基于RGB-D信息的激光点取物体抓取方法研究。具体研究内容如下:（1）进行了环境中激光点的精确捕捉技术研究。首先,基于改进的目标匹配及背景差分法进行了激光点检测算法研究。但检测过程需要物体贴上“圆片”标记,限制了它的使用。针对传统检测算法存在问题,基于卷积神经网络进行了激光点检测方法研究。研究中使用YOLOv3算法对激光点进行检测,并在YO LO v3网络的前端增加图像预处理、在后端可视化算法中对激光点取物体预测框加粗、变色处理,提高了用户的交互感受、增加了激光点检测成功率。（2）进行了激光点取物品识别与抓取技术研究。本课题基于RGB-D图像信息,进行了基于点云信息的物品滤波、分割算法研究,并提取了环境中物体三维质心坐标。进行点云信息与激光点取物体信息之间的阈值判断,确定光点所附物体三维位置坐标,并基于卷积神经网络对点云物品识别,结合多模板匹配算法获取物体姿势,并规划抓取物体轨迹,从而完成激光点取物品自主抓取。（3）建立激光交互抓取系统并研究其坐标转换关系,实现激光点取物品三维位姿精准匹配。阐述自主抓取系统各坐标系间的关系,并基于张正友相机标定理论对相机内参矩阵进行标定;利用最小二乘法标定相机坐标到机械臂坐标的外参矩阵。在此基础上,推导激光点取物体二维坐标与深度点云物体三维质心坐标转换方程,实现点取物体与三维点云物体间的匹配及物体点云场景理解。（4）搭建WMRA机器人系统并进行激光点取物体抓取实验研究。基于机器人操作系统（Robot Operation System,ROS）进行系统软件集并完成硬件搭建。在激光点取自主抓取平台上,进行激光点取物体识别、激光点取物体智能抓取以及用户操作体验测试等相关实验研究。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
•   1.1 课题来源及研究的目的和意义
•   1.2 国内外研究现状
•     1.2.1 激光点交互研究现状
•     1.2.2 基于CNN的目标检测算法研究现状
•     1.2.3 基于深度点云的定位算法研究现状
•   1.3 本文主要研究内容
• 第2章 环境中激光点精准检测方法研究
•   2.1 基于图像处理的激光点检测算法
•     2.1.1 基于目标匹配的检测算法
•     2.1.2 基于背景差分的检测算法
•     2.1.3 获取激光点坐标
•   2.2 基于CNN的激光点检测算法
•     2.2.1 图像预处理
•     2.2.2 建立数据集
•     2.2.3 训练过程
•     2.2.4 目标检测
•   2.3 实验结果与分析
•   2.4 本章小结
• 第3章 基于RGB-D的点取物体识别抓取
•   3.1 点云信息预处理
•     3.1.1 点云处理库函数及接口简介
•     3.1.2 点云物体滤波
•   3.2 点云物体图像分割
•   3.3 点云物体识别
•   3.4 点云物体姿态确定及抓取规划
•     3.4.1 手指参数的示教获取
•     3.4.2 物体自主抓取
•   3.5 本章小结
• 第4章 激光点交互系统建立及标定
•   4.1 激光交互抓取视觉系统组成
•   4.2 RGB-D相机系统标定
•     4.2.1 相机内参标定
•     4.2.2 相机外参标定
•   4.3 物体识别及抓取坐标搭建
•   4.4 本章小结
• 第5章 激光点取物体自主抓取实验研究
•   5.1 基于ROS激光点取系统软件架构
•     5.1.1 基于ROS的通信及函数库接口简介
•     5.1.2 基于ROS的实验软件架构
•   5.2 激光点检测实验
•     5.2.1 激光点检测实验过程描述
•     5.2.2 激光点检测实验结果分析
•   5.3 激光交互智能抓取实验
•     5.3.1 激光交互智能抓取实验描述
•     5.3.2 激光交互智能抓取结果与分析
•     5.3.3 激光交互智能抓取用户体验与分析
•   5.4 本章小结
• 总结
• 参考文献
• 攻读学位期间发表的学术论文及其它成果
• 致谢

文章来源

类型: 硕士论文

作者: 张延强

导师: 刘亚欣

关键词: 助老助残,自主抓取,激光点交互

来源: 哈尔滨工业大学

年度: 2019

分类: 基础科学,信息科技

专业: 物理学,无线电电子学,计算机软件及计算机应用,自动化技术

单位: 哈尔滨工业大学

分类号: TP242;TN24;TP391.41

DOI: 10.27061/d.cnki.ghgdu.2019.006094

总页数: 69

文件大小: 2726k

下载量: 3