导读:本文包含了神经网络训练算法论文开题报告文献综述及选题提纲参考文献，主要关键词:图像分类,归一化算法,小批次,指数移动平均
神经网络训练算法论文文献综述
王岩,吴晓富[1]（2019）在《深度神经网络训练中适用于小批次的归一化算法》一文中研究指出近年来,批归一化(Batch Normalization,BN)算法已成为深度网络训练不可或缺的一部分。BN通过计算批次中示例的均值和方差来对输入进行归一化,从而缓解深度神经网络训练中的梯度爆炸或者消失的问题。但是,由于算法与批次大小有关,BN算法用于小批次时会因为不准确的估计导致性能下降。批重归一化(Batch ReNormalization,BRN)用指数移动平均(Exponential Moving Average,EMA)后的值对输入进行归一化操作,减小了归一化算法对批次的依赖。本文基于图像分类任务研究了在输入是小批次时归一化技术的应用,提出了通过改变EMA初值并对估计值加以修正来得到更准确的参数估计的批归一化算法。实验结果表明,所提算法与标准的BN和BRN算法相比,收敛速度更快,准确率有一定的改善。(本文来源于《计算机科学》期刊2019年S2期）
刘建,黄娇洁[2]（2019）在《一种算法对于深层神经网络训练速度的提升》一文中研究指出如今深度学习在声纹识别的领域取得了不错的成绩,其中代表就是卷积神经网络(CNN),但是传统的神经网络训练过程中需要耗费大量的时间。为了解决这一问题,本文了快速批量归一化算法(FBN),用以提高网络的融合速度,缩短培训时间。卷积神经网络训练时需要大量的样本数据,本文对TIMIT数据集预处理之后进行数据增强处理,防止过拟合发生。实验结果表明,与没有FBN的网络相比,具有FBN的CNN网络减少了48.04%的额训练时间。(本文来源于《电脑知识与技术》期刊2019年24期）
刘君楠[3]（2019）在《支持复杂神经网络模型并行训练的资源分配算法优化》一文中研究指出近年来,深度学习领域的研究工作取得飞速的发展。更复杂的网络结构和更深的网络层数,使得神经网络模型的规模越来越大。虽然有效地提升了网络模型预测的准确度,但与此同时,网络模型的计算量也随之增长,从而导致对计算设备的要求也在不断增加。为了解决日益增长的计算需求,一种常用的做法是引入GPU来加速网络模型的训练过程。但随着网络规模的不断扩大,单张GPU卡已经无法满足训练需求,使用单节点多GPU卡甚至是多节点多GPU卡来训练神经网络模型成为有效的解决方案。因此如何在多个计算设备上划分神经网络模型从而高效地完成模型训练就变得日益重要。本文基于CPU+GPU异构平台,对如何加快复杂神经网络在模型并行训练时的训练速度进行研究。通过深度强化学习的方法优化神经网络模型在计算设备上的映射,从而加快神经网络模型的训练过程,并且将神经网络的模型并行训练扩展到多节点上。本文的主要内容和成果包括:(1)分析TensorFlow框架的软件架构,通过代码调试等手段动态剖析在CPU+GPU构成的异构计算环境下目标网络模型的训练过程,深入理解计算任务的组织管理方式,形成对复杂神经网络模型并行训练的资源分配方法进行优化的技术路径。(2)针对单机多卡环境下的复杂神经网络模型并行训练的资源分配优化问题,本文研究一种基于强化学习的资源分配优化算法,旨在获得更高的训练加速比。该算法的基本思想是,使用一种序列化的神经网络模型Φ(p)为拟训练的目标网络计算流图G生成一个设备分配方案p。然后,按照该设备分配方案在单机多卡系统上执行该计算流图,将本次执行时间ti当作奖励,反向更新神经网络模型少Φ(P)中的参数。Φ(P)经过多次训练,直至生成使目标网络模型运行时间tmin最小的设备分配方案,最终得到一个针对拟训练目标网络的资源优化分配方案。实验表明,基于预测的资源分配算法相对于基于人工的资源分配算法取得的28.41%的性能提升。(3)针对多机多卡环境下的复杂神经网络模型并行训练的资源分配问题,本文研究一种基于虚拟化技术实现的方法,旨在实现更好的网络模型并行训练规模的可扩展性。该方法借助GPU虚拟化技术实现多节点环境下神经网络的模型并行训练过程。同时我们使用基于强化学习的资源分配算法对训练过程进行优化,并且实验分析该方法的可扩展性。(本文来源于《中国科学技术大学》期刊2019-05-26）
彭驿茹[4]（2018）在《人工神经网络发展历史与训练算法概述》一文中研究指出人工智能在广义上分为以下两方面:知识推理和知识决策,相对应的技术分别为知识图谱技术与人工神经网络技术。文章对人工神经网络的历史进行了回顾,引进了几个较为经典的人工神经网络的算法,并在此基础上论述了其影响。最后,对人工神经网络的前景做出了评断。(本文来源于《科技传播》期刊2018年21期）
陈玮匀,杨文伟,陈俊江,胡永乐,覃团发[5]（2018）在《基于改进RBF神经网络训练算法的蓄电池SOC估算》一文中研究指出为了对基站铅酸蓄电池的剩余容量进行估算,在RBF神经网络训练算法中采用梯度下降法结合L1,L2正则化实现隐层节点数的选择。通过模糊控制思想提高泛化能力,引入模拟退火算法减少了需要重复训练的次数。Matlab仿真结果表明,通过改进的RBF神经网络训练算法对蓄电池的电池剩余容量(SOC)估算平均误差达到2%,改进了估算精度的同时也提高了泛化能力并且减少了重复训练的次数。(本文来源于《现代电子技术》期刊2018年20期）
张沫,章彪[6]（2018）在《基于混合核函数和高阶容积卡尔曼滤波的神经网络训练算法》一文中研究指出现有的高阶容积卡尔曼滤波(HCKF)对基于单个核函数的神经网络进行训练精度不高。为解决这一问题,提出一种基于混合核函数和HCKF的神经网络训练算法。将局部核函数与全局核函数线性组合成混合核函数,在该混合核函数的基础之上通过神经网络建立非线性系统的状态空间模型。将非线性系统的状态量和网络的权重合并成系统的扩维状态向量,用HCKF对扩维状态进行实时训练估计。仿真结果表明,该训练算法具有可行性和有效性。(本文来源于《计算机应用与软件》期刊2018年10期）
刘强,李佳峻[7]（2018）在《基于GPU的并行拟牛顿神经网络训练算法设计》一文中研究指出针对人工神经网络训练需要极强的计算能力和高效的最优解搜寻方法的问题,提出基于GPU的BFGS拟牛顿神经网络训练算法的并行实现。该并行实现将BFGS算法划分为不同的功能模块,针对不同模块特点采用混合的数据并行模式,充分利用GPU的处理和存储资源,取得较好的加速效果。试验结果显示:在复杂的神经网络结构下,基于GPU的并行神经网络的训练速度相比于基于CPU的实现方法最高提升了80倍;在微波器件的建模测试中,基于GPU的并行神经网络的速度相比于Neuro Modeler软件提升了430倍,训练误差在1%左右。(本文来源于《河海大学学报(自然科学版)》期刊2018年05期）
冯诗影[8]（2018）在《GPU平台上循环神经网络训练算法设计与优化》一文中研究指出随着科技不断发展及理论基础日益成熟,深度神经网络(Deep Neural Net-work,DNN)目前已被广泛应用于众多领域,并且为各自领域带来突破性进展。在自然语言处理(Natural Language Processing,NLP)方向,相较于传统机器学习方法及概率模型,循环神经网络(Recurrent Neural Network,RNN)在训练时序序列方面取得极佳效果,并迅速应用于语音及自然语言理解等领域。同时,多核处理器及深度学习专用加速卡等高性能处理器的发展,进一步推进了基于神经网络模型的研究与应用。本文主要基于GPU平台,对如何提升循环神经网络模型的训练准确率及训练速度进行研究,并针对此两方面进行算法设计及优化,从而提升语音识别、机器翻译模型等实际应用训练效果。本文主要工作内容和成果包括:(1)针对语音识别应用及其模型,提升模型训练准确率及训练速度。通过对其训练数据进行重新组织,提升其模型训练速度;针对时序序列特征,改进数据规范化算法,减少数据漂移,达到均匀分布。在训练过程中,结合调整学习率、隐藏层神经元数量和参数更新算法等调参方法,最终在相同训练阶段内提升训练准确率。(2)针对机器翻译应用及其模型,提升模型训练速度。基于机器翻译预测模型,通过对模型进行并行算法优化,充分利用计算资源,将原单句训练变为多句训练,在保证翻译质量情况下,提升单句训练速度。(3)提升基于GPU循环神经网络模型训练速度。通过编写高效CUDA计算内核,提升计算效率;通过改善GPU显存重用率,增大单次训练样本数,充分利用计算资源,提升训练速度;基于GPU硬件计算单元,通过低比特量化方法对模型参数进行量化存储,减小参数存储规模,同时使用混合精度方法进行微调训练,从而对模型进行加速计算。本文通过对循环神经网络及相关应用模型结构的深入理解,结合深度学习框架,基于GPU平台,设计并实现了循环神经网络优化算法,同时充分利用硬件特性,有效提高了语音识别模型及机器翻译模型训练准确率及训练速度,为后续研究奠定基础。同时,本文所有工作已应用于科大讯飞实际应用中,向有效提升了模型准确率及训练速度,从而推动其应用开发进程。(本文来源于《中国科学技术大学》期刊2018-05-01）
蒋俊钊[9]（2018）在《基于标签相关性与协同训练的卷积神经网络车辆识别算法》一文中研究指出近年来,卷积神经网络以其突破性的成果成为计算机视觉领域的研究热点。在快速发展的同时,业界对图像处理等任务也提出了更高的要求。比如更能充分描述事物的多标签识别中存在标签识别准确率不佳的问题,又比如针对卷积神经网络训练过程中对数据样本需要进行的大量浪费人力的标注问题等。这些问题在现实场景下普遍存在,且在很大程度上制约着计算机视觉技术的应用。根据项目来源实际,本文在总结分析了常见的卷积神经网络算法的不足之处后,针对在实际应用中遇到的多标签分类和小样本数据集下的训练问题,提出了一套改进算法。为了使得卷积神经网络在多标签分类时能有效利用标签间的信息,提出结合贝叶斯理论的卷积神经网络模型。根据标签的统计信息以此获得先验知识,在模型分类时结合标签的先验知识辅助卷积神经网路的多标签分类,以此来提升标签整体的识别准确率。本文还总结了国内外研究学者对半监督学习领域的协同训练算法的研究成果,针对项目初期训练数据集不足导致模型难以训练的问题,提出一种卷积神经网络协同训练的半监督学习算法。结合集成学习的思想,集成多个基分类器对大量的无标签样本进行预测分类,将无标签样本产生的信息利用到卷积神经网络的训练过程中,从而间接使得训练样本数量扩增。避免因为训练样本数量过少导致模型产生过拟合问题。实验结果表明,结合标签相关性信息进行分类能有效提高大难度标签识别的准确率,将难度大的标签从原先的30%左右的准确率提升到53%作用,从而提高模型的整体识别准确率。结合协同训练的卷积神经网络能有效缓解样本数量过少导致的过拟合现象,通过分析可知本文所提算法对性能提升有比较明显的效果。(本文来源于《广东工业大学》期刊2018-05-01）
李佳峻[10]（2017）在《基于异构计算平台的并行神经网络训练算法设计》一文中研究指出现如今人工智能已经渗透到人们生活的各个角落,很多行业都通过人工智能实现了巨大的发展。人工智能的核心技术是人工神经网络,人工智能的广泛应用离不开神经网络技术的巨大进步。但是,神经网络技术的进一步发展仍然面临很多挑战。目前,人工神经网络应用面临的主要挑战之一就是训练,其实质是一个基于大量数据反复迭代优化的过程。该过程需要极高的计算能力和高效的最优解搜寻方法。本文针对神经网络训练过程中面对的问题,进行了详细的探索与分析,并凭借异构计算平台的强大计算能力,设计并实现了叁种并行优化算法。首先,针对神经网络训练时间较长的问题,实现了并行BFGS拟牛顿算法;其次,针对传统的神经网络训练方法易陷入局部收敛的问题,设计并实现了一种多群体PSO并行算法;最后,为了提升神经网络训练过程中的收敛速度,将BFGS拟牛顿算法与PSO算法相结合,实现了BFGS-PSO混合算法。实验结果显示,与传统的基于CPU的串行算法相比,本文设计的并行BFGS拟牛顿算法最高获得了430倍的加速;本文设计的并行PSO算法与基于CPU的多线程PSO算法相比,获得了35倍的加速;在超宽带天线的实验中,与BFGS拟牛顿算法相比,相同迭代次数下,训练误差缩小到了1.52%;并且,将二者结合而成的BFGS-PSO混合算法也展现了较强的收敛性,其收敛速度是BFGS拟牛顿算法的5.5倍,并且在相同训练时间下,叁种算法中BFGS-PSO混合算法的训练误差最小,仅为1.12%。(本文来源于《天津大学》期刊2017-12-01）
神经网络训练算法论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
如今深度学习在声纹识别的领域取得了不错的成绩,其中代表就是卷积神经网络(CNN),但是传统的神经网络训练过程中需要耗费大量的时间。为了解决这一问题,本文了快速批量归一化算法(FBN),用以提高网络的融合速度,缩短培训时间。卷积神经网络训练时需要大量的样本数据,本文对TIMIT数据集预处理之后进行数据增强处理,防止过拟合发生。实验结果表明,与没有FBN的网络相比,具有FBN的CNN网络减少了48.04%的额训练时间。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
神经网络训练算法论文参考文献
[1].王岩,吴晓富.深度神经网络训练中适用于小批次的归一化算法[J].计算机科学.2019
[2].刘建,黄娇洁.一种算法对于深层神经网络训练速度的提升[J].电脑知识与技术.2019
[3].刘君楠.支持复杂神经网络模型并行训练的资源分配算法优化[D].中国科学技术大学.2019
[4].彭驿茹.人工神经网络发展历史与训练算法概述[J].科技传播.2018
[5].陈玮匀,杨文伟,陈俊江,胡永乐,覃团发.基于改进RBF神经网络训练算法的蓄电池SOC估算[J].现代电子技术.2018
[6].张沫,章彪.基于混合核函数和高阶容积卡尔曼滤波的神经网络训练算法[J].计算机应用与软件.2018
[7].刘强,李佳峻.基于GPU的并行拟牛顿神经网络训练算法设计[J].河海大学学报(自然科学版).2018
[8].冯诗影.GPU平台上循环神经网络训练算法设计与优化[D].中国科学技术大学.2018
[9].蒋俊钊.基于标签相关性与协同训练的卷积神经网络车辆识别算法[D].广东工业大学.2018
[10].李佳峻.基于异构计算平台的并行神经网络训练算法设计[D].天津大学.2017