导读:本文包含了手语识别论文开题报告文献综述、选题提纲参考文献及外文文献翻译，主要关键词:手语,神经网络,卷积,传感器,深度,直方图,规整。
手语识别论文文献综述
蒋贤维,张妙娴,朱兆松[1]（2019）在《基于灰度共生矩阵和精度高斯支持向量机的中国手语手指语识别》一文中研究指出手语识别是打破聋人和健听人之间交流障碍的有效途径。中国手语一般可以分为手势语和手指语,手势语因为地区性和个体差异性导致种类和变化繁多,识别相对困难,所以需要不断学习和训练;手指语通过拼音字母的表现形式给出结果,表达具有确定性,尤其在姓名、特殊含义、抽象表达方面效果明显。手语识别中,大部分的研究主要聚焦于某种手势,围绕手形、方向、位置和运动轨迹等关键特征,并结合某些学习算法来提升识别的准确率,然而最基本可靠的手指语识别却往往被忽略。为此,文中提出了一种基于灰度共生矩阵(GLCM)和精度高斯支持向量机(FGSVM)的方法来更准确有效地识别中国手语手指语。首先构建手指语数据集,即通过数码相机直接获取手指语图像或者从视频中选取关键帧作为手语图像素材,然后将手形从图像背景中分割出来,把每个图像调整为N×N的特定尺寸并转换为灰度图像;其次是提取特征,即对灰度图像中强度值的数量进行降维,同时创建对应的灰度共生矩阵,通过调整像素间的距离和角度等参数来获取增强的数据特征;最后,将提取的图像的特征数据提交到精度高斯支持向量机分类器中,进行10倍交叉验证和分类测试。对30种类别的510个中国手语手指语图像样本的实验结果表明,基于GLCM-FGSVM的分类准确率最高可达到92.7%,可以认为该方法在中国手语手指语分类方面卓有成效。(本文来源于《计算机科学》期刊2019年S2期）
李晨,黄元元,胡作进[2]（2019）在《基于关键动作双重转移概率的连续手语语句识别算法》一文中研究指出目前,连续手语识别的最大难点在于如何对其中包含的词汇进行有效分割。本文将关键动作看作手语的基元,提出了一种基于关键动作双重转移概率的连续手语识别算法。在获得连续手语基元序列的前提下,根据相邻基元的词内及词间转移关系,可以有效地寻找到词汇边界,从而对基元序列做分割,并逐一识别出各基元分组的候选词汇。最后,根据不同基元分组的候选词汇间的转移概率,计算出对应合成句子的概率,并按照最大概率原则输出连续手语的最终识别结果。该算法容易实现,执行效率高,经实验验证其可以面向非特定人群。(本文来源于《计算机科学》期刊2019年S2期）
封万俊,夏春明,章悦,蒋文都,刘爽[3]（2019）在《面向手语识别的肌音信号无线采集系统设计》一文中研究指出为了实现对手语动作的模式识别,设计一套基于多通道肌音信号的无线采集系统。系统硬件部分采用STM32单片机以SPI通信方式收集ADXL355采集到的肌音信号,通过WiFi模块将数据传输到电脑;系统软件部分设计STM32内部程序实现对数据的采集及Matlab图形用户界面上位机采用TCP/IP通信方式收集数据实现对数据的存储。设计实验采集18组常用手语动作,提取动作小波包能量特征,运用支持向量机分类的识别率达92.3%。结果表明,该系统具有可穿戴、便携式等优点,可应用于手语识别相关领域。(本文来源于《现代电子技术》期刊2019年18期）
马景,陈向东[4]（2019）在《用HLS技术与BP神经网络实现的手语识别系统》一文中研究指出提出一种通过HLS(High Level Synthesis,高层次综合)技术快速将BP神经网络硬件化的方法,并结合曲度传感器和惯性测量单元设计了一套识别率较高的手语识别系统。利用HLS技术将用于识别的BP神经网络实现于Xilinx Zynq全可编程SoC的PL(可编程逻辑)端,并在资源和时序上做出优化。实验结果表明,使用HLS技术设计的手语识别系统能够在更高的抽象层面完成算法设计和实现,在FPGA中可以高效地实现BP神经网络,相较于传统的RTL设计而言,设计周期大大缩短,系统对10种手语的识别情况达到了理论准确率的水平。(本文来源于《单片机与嵌入式系统应用》期刊2019年09期）
邢倩,方全彪,许梦文,宋晓娜,王新勇[5]（2019）在《一种手语识别装置设计》一文中研究指出手语作为聋哑人群最常使用的交流方式,却因为手势语在大众中的普及程度低,造成了聋哑人与普通人的交流障碍。为解决这一问题,本文提出一种手语识别装置的设计,它主要是以普通手套为载体,通过弯曲传感器和加速度传感器来采集手的运动轨迹和手势特征,并将信息传递到主控器进行处理,进一步与已建立的手语模板库进行比较,再通过显示模块和语音模块进行实时显示和播报。(本文来源于《山西电子技术》期刊2019年04期）
千承辉,邵晶雅,夏涛,刘怀宾[6]（2019）在《基于Kinect的手语识别方法》一文中研究指出为实现基于Kinect的手语识别,提出了一种利用有限状态机及动态时间规整(DTW)的动态手语识别方法。首先,利用Kinect技术得到人体深度图像和骨骼特征信息;然后利用手部分割算法得到手部深度图像,再选取识别正确率高的梯度方向直方图(HOG)特征算子来提取手部特征;最后加入有限状态机和DTW算法实现动态手语识别。实验结果表明:该方法能够实现对常用手语单词、句子的识别,识别准确率可达95%。(本文来源于《传感器与微系统》期刊2019年06期）
梁智杰[7]（2019）在《聋哑人手语识别关键技术研究》一文中研究指出残障人士这一特殊群体的数量非常庞大,伴随着教育需求的日益增长,让教育发展的成果更多、更公平地惠及残障人士是构建开放融合式现代教育体系的必然趋势。科技馆作为残障人士非正式学习的主要场所,是他们接受教育的重要途径之一。其中,听力受损及语言残障人群面临的交流障碍主要包括获取展品信息困难和科技馆工作人员无法理解作为聋哑人主要沟通方式的手语。因此,利用新兴信息技术对手语进行识别有助于聋哑人群与健听人之间进行顺畅的沟通,对于构建和谐社会以及完善全民教育体系具有重要的现实意义。同时,作为人类身体最直观的表达,手语的应用有助于人机交互向更加自然、便捷的方式升级。因此手语识别是当今人工智能领域的研究热点。近年来,作为新一波人工智能浪潮的排头兵,深度学习为模式识别和计算机视觉领域注入了新的活力。伴随着Kinect V2等新型体感交互设备的普及应用,手语识别研究也迎来了新的契机。当前手语的识别主要存在以下几个具有挑战性的关键问题:(1)聋哑人手语数据集的有效性难以保证。一方面,为了使训练的模型能够适应面向非特定人的手语识别,需要大量采集不同人的演示数据;另一方面,很少有研究能够使用真正的聋人数据集,在使用规范手语数据的情况下,采集到的数据规模较小、容错能力差,差异性实际上又被忽略。(2)手语的实际应用场景往往比较复杂,背景和光照等客观因素对算法的识别效果有较大的干扰。(3)与传统的手势相比,手语序列存在着表意词丰富、动作灵活多变等特点,并且严重的肢体遮挡现象也较为常见,这就使得设计有辨识性的手语表征较为困难。(4)手语识别的最终目标是实现连续手语的识别,然而,连续手语的词与词之间存在不属于任何一个手语词的过渡冗余数据,这会严重影响连续手语识别的精度。基于上述背景,本文紧扣深度学习聋哑人手语识别这一研究立足点,对叁维卷积神经网络、循环神经网络、残差网络、注意力机制以及多模式融合等模型进行了重点的探索,并基于这些模型具体实现了动态手语关键词和连续手语序列的识别,取得了一些富有实际意义的研究成果:1.针对问题(1),本文对手语识别方法随着交互设备的不断演变所经历的几个阶段进行了梳理,对识别精确度和交互体验等要素综合考量后,提出了基于计算机视觉和新一代体感交互设备的手语识别方案。针对特殊的光照和背景噪声干扰等条件,使用Kinect V2传感器探索出了多模态同源数据采集方案,并构建了自主的聋哑人手语公开数据集。2.针对问题(2),本文提出了一种融合多模态同源数据的叁维卷积神经网络手语识别方法。该方法借助深层架构强大的端到端自主学习能力来取代传统的人工特征选取;通过构建双列深度神经网络,分别从红外图像和轮廓图像中逐层抽取和学习动态手语中具有区分性的时空特征,并利用骨骼数据对两种图像数据中的上肢运动轨迹进行准确的定位。最后,采用深度学习的融合策略对两列子网络的分类结果进行加权融合,从而有效避免单列网络分类器由于数据丢失所引起的分类错误,使模型对背景噪声和因不同光照条件而产生的干扰具有较高的准确性。3.针对问题(3),本文提出了一种基于宽残差和可卷积长短时记忆网络的融合式框架对手语序列进行精确的表征。该框架首先以叁维卷积神经网络作为视频数据的特征提取器,以产生能够反映手语特点的短时空特征。而后,以双向可卷积长短时记忆网络对这些固定长度的短时空特征进行充分的时空编码,进一步形成手语的全局关联信息。在模型的后半段,引入堆迭的宽残差模块对特征进准确的分类,并最终通过融合策略对两种独立的数据分类结果进行融合,从而有效提高了模型对手语的辨识能力。4.针对问题(4),文本提出了一种基于可卷积长短时记忆网络注意力机制的连续手语识别方法。面对需要处理的连续手语,该方法使用伪叁维残差网络结合平衡铰链损失函数对长序列中的过渡帧进行检测,判定出手语关键词的时间边界。在手语识别阶段,以伪残差网络从视频流中提取手语的空间特征和短时动态特征:使用融合注意力机制的可卷积长短时记忆网络对短时空特征进行编码,以充分获取手语的上下文长时空信息;在特征分类部分,引入了宽残差模块对空间特征进行精确表征从而得到连续手语的最终识别结果。(本文来源于《华中师范大学》期刊2019-06-01）
王瑾薇[8]（2019）在《基于神经网络的中国手语词手势检测与手语识别方法研究》一文中研究指出手语是使用手部姿态、手型变化以及轨迹信息来表达含义的视觉语言,是与听力及语言障碍者沟通的主要交流工具。手语识别可以改善我国目前需要使用手语的人数多但手语普及程度差的问题,为听力及语言障碍者提供更加便捷的学习、工作与生活方式。同时,手语手势检测与识别是人机交互领域的重要分支,其研究对人们向新型便利的智能交互过渡具有重要的先导意义。手势检测与手语识别方法通常可以分为传统方法和基于深度学习的方法。近年来随着深度学习在计算机视觉领域的大放异彩,证明了基于深度学习的方法具有提取特征丰富、建模能力强和训练直观等诸多优点。因此,本文基于神经网络对中国手语进行了手语词手势检测与手语识别研究,主要的研究内容包括:1.为了提升手语词手势检测的准确率和稳定性,提出了一种多尺度加速区域卷积神经网络用于手势的检测。分别针对手势区域小且包含丰富信息的特性和手势类别的难区分性,构建了多尺度特征提取结构和候选区域生成结构。在两个手语手势检测数据集上进行测试,提出的模型分别达到了 93.6%和90.0%的平均精度均值。2.针对手语是一个时序序列,构建了基于长短时记忆单元(Long Short-time Memory,LSTM)编解码网络的手语识别框架。并根据手语词动作间的可拆分性和上下文联系,在此框架的基础上融入了手语字单元的模型。以单路叁维卷积神经网络提取时空特征,以LSTM编解码网络实现手语图像特征序列输入到文本序列输出的过程。实验表明基于该方法能够在手语词数据集上达到98.7%的识别率。3.为实现手语RGB图片序列的检测、跟踪、表征与识别,我们将手语词手势检测模块与识别模块结合起来,构建了基于双路叁维卷积神经网络和LSTM编解码的手语识别框架。该框架依靠提出的手势检测模型与中值流跟踪算法来获取手势区域,在单路叁维卷积神经网络的基础上设计双路叁维卷积神经网络获取融合特征。(本文来源于《中国科学技术大学》期刊2019-05-01）
宫艺璇[9]（2019）在《基于卷积神经网络实现手语识别》一文中研究指出本文通过深度学习算法,使用Keras等构建卷积神经网络模型实现对手语图像的识别,手语识别就是通过不同的数学算法实现动作与语言的翻译,触觉与视觉的转化,可使聋人与机器间的交流的一项技术。实现手语的自动化识别能够使手语使用者更加便利地与外界进行沟通,亦可反向将他人口语的内容自动转化成手语图像。(本文来源于《通讯世界》期刊2019年04期）
林亚飞,曾晓勤[10]（2019）在《融合SURF与sEMG特征的手语识别研究》一文中研究指出通过Kinect设备获取手语者手部的深度图像信息和彩色图像信息,采用阈值分割法有效滤除手语者所处环境中复杂的前景及背景信息;同时通过MYO臂环获取手语者的表面肌电信号信息以此来捕捉手语者微小的指尖动作信息,这样能够有效补充摄像头所拍摄不到的被遮挡的信息。把由Kinect获得的手语图像信息通过形态学处理方法提取其SURF特征后对其进行聚类生成合适大小的词袋模型(BOF-SURF),并用视觉词频向量表示手势语的局部特征,将其与MYO臂环获取的表面肌电信号(sEMG)特征进行融合,然后由SVM分类器通过五倍交叉验证的方法对手语库中手语进行学习和识别。实验结果表明,该方法既高效又具有很高的识别率,对30个中国手指语的最好识别正确率均可达97%左右。(本文来源于《微型电脑应用》期刊2019年04期）
手语识别论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
目前,连续手语识别的最大难点在于如何对其中包含的词汇进行有效分割。本文将关键动作看作手语的基元,提出了一种基于关键动作双重转移概率的连续手语识别算法。在获得连续手语基元序列的前提下,根据相邻基元的词内及词间转移关系,可以有效地寻找到词汇边界,从而对基元序列做分割,并逐一识别出各基元分组的候选词汇。最后,根据不同基元分组的候选词汇间的转移概率,计算出对应合成句子的概率,并按照最大概率原则输出连续手语的最终识别结果。该算法容易实现,执行效率高,经实验验证其可以面向非特定人群。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
手语识别论文参考文献
[1].蒋贤维,张妙娴,朱兆松.基于灰度共生矩阵和精度高斯支持向量机的中国手语手指语识别[J].计算机科学.2019
[2].李晨,黄元元,胡作进.基于关键动作双重转移概率的连续手语语句识别算法[J].计算机科学.2019
[3].封万俊,夏春明,章悦,蒋文都,刘爽.面向手语识别的肌音信号无线采集系统设计[J].现代电子技术.2019
[4].马景,陈向东.用HLS技术与BP神经网络实现的手语识别系统[J].单片机与嵌入式系统应用.2019
[5].邢倩,方全彪,许梦文,宋晓娜,王新勇.一种手语识别装置设计[J].山西电子技术.2019
[6].千承辉,邵晶雅,夏涛,刘怀宾.基于Kinect的手语识别方法[J].传感器与微系统.2019
[7].梁智杰.聋哑人手语识别关键技术研究[D].华中师范大学.2019
[8].王瑾薇.基于神经网络的中国手语词手势检测与手语识别方法研究[D].中国科学技术大学.2019
[9].宫艺璇.基于卷积神经网络实现手语识别[J].通讯世界.2019
[10].林亚飞,曾晓勤.融合SURF与sEMG特征的手语识别研究[J].微型电脑应用.2019
论文知识图
