导读:本文包含了梯度最优化算法论文开题报告文献综述及选题提纲参考文献，主要关键词:梯度下降法,优化算法,机器学习
梯度最优化算法论文文献综述
常永虎,李虎阳[1]（2019）在《基于梯度的优化算法研究》一文中研究指出所有以数据驱动的算法最终都被转化为一个优化问题,而梯度下降类算法是解决优化问题的一种非常流行的方法。梯度下降类算法经过很长一段时间的发展,在梯度计算、步长计算等方面提出多种新算法,这些方法没有绝对的孰优孰劣,而且在实际应用当中常常被当作黑箱使用。介绍梯度下降类算法的具体计算方法和每种算法所解决的主要问题,并通过可视化的方式呈现不同梯度下降算法在同一问题中的表现,最终指出梯度优化算法的选择策略。(本文来源于《现代计算机》期刊2019年17期）
陶炯[2]（2019）在《基于梯度场的高效几何优化算法》一文中研究指出在计算机图形学所涉及的诸多问题中,求解线性系统一直扮演着重要的角色,是求解算法中必不可缺少的一部分。尽管大部分问题求解的都是稀疏方程,但是随着数据维度的不断增加,求解大型稀疏线性系统仍然是一个难题,尤其是在运行内存和运行时间方面。在求解关于梯度的优化问题时,其优化变量通常是函数值,而不是梯度值,这就使得在求解的过程中不具有可扩展性,因为在求解过程中要涉及到梯度变量到函数变量的转化。本文提出了一种新的基于梯度场求解方法,其在求解的过程中不需要求解线性方程而是直接得到对应函数的梯度值。最后根据求解出来的梯度值恢复出原来的函数值,可以达到与直接求解线性方程组同样的精度。因为不需要求大型稀疏线性方程,所以此算法具有高效性和可扩展性。本文从两个问题出发,应用此算法。一是二维或者叁维区域内局部重心坐标的求解;局部重心坐标要求最小化重心坐标函数的全变差,同时要满足重心坐标的单位剖分性和线性插值性以及其他重心坐标函数的性质。二是二维或叁维流形中测地距离的计算;测地线距离的计算即是求解相应的Eikonal Equation。这两个问题所涉及到的目标函数都是和梯度相关,因此这两个问题都可以转化为关于梯度变量的带约束的优化问题,然后可以通过ADMM算法进行高效的求解。因为ADMM算法以及问题本身具有可分离的结构,所以我们可以对算法进行高度并行化操作和处理。在得到相应的梯度场后,我们应用一个广度优先搜索算法来恢复相应的函数值,同样这个操作也能够进行并行化操作。总体来说的话我们提出了一个高效的可高度并行化的算法,来求解对应的几何问题,使得在这个过程中不需要求解任何稀疏线性方程,达到提高效率的目的。(本文来源于《中国科学技术大学》期刊2019-06-04）
李喜林,申英霞[3]（2019）在《基于梯度法的微粒群优化算法在船舶电力系统的应用》一文中研究指出随着电力技术的不断发展,舰船电力设备的数量和质量不断提高,不仅提高了舰船航行的安全性,还促进了舰船作业的效率,提高了船舶工业的生产水平。船舶综合电力系统包括发电机、变电站、输电线路、终端负载等,具有拓扑结构复杂、工作条件恶劣等特点。因此,提高舰船电力系统的安全性、可靠性,改善电力系统的使用质量具有重要的意义。本文充分结合基于梯度法的微粒群优化算法,对舰船电力系统的稳定性理论、故障恢复等问题进行优化和改善。(本文来源于《舰船科学技术》期刊2019年08期）
杨志军,陈超然,黄观新[4]（2019）在《面向机器人优化设计的GA-非均匀Kriging-梯度投影混合全局优化算法》一文中研究指出针对机器人优化设计等工程应用中普遍存在的黑箱问题,提出了一种高效、稳定的遗传算法-非均匀Kriging-梯度投影混合全局优化(Hybrid global optimization, HGO)算法。该方法使用非均匀Kriging模型对目标函数进行评估,能够在不苛求近似模型全局精度的情况下保证优化过程的精度,并节省大量计算时间。使用梯度投影法对遗传算法种群进行变异,可以在提升优化收敛效率的同时确保优化约束条件,从而可以避免使用并不严格的罚函数法处理约束函数。为验证算法的有效性和优越性,将本算法应用于两个数学测试算例和一个模块化机械臂截面优化实例中,并与其他优化算法比较。结果表明,本算法能够兼顾结果精度、优化效率和算法稳定性,发挥更好的综合性能,从而实现对工程问题的全局优化设计。(本文来源于《机械工程学报》期刊2019年11期）
王德贤[5]（2019）在《基于随机梯度下降的隐特征分析优化算法研究》一文中研究指出高维稀疏矩阵中包含如用户偏好和社区倾向等丰富信息,隐特征分析模型被证明能从高维稀疏矩阵中高效的挖掘出这些有用信息。随机梯度下降算法是构建隐特征分析模型的高效算法。由于随机梯度下降算法的优化算法能加速模型收敛性和提高模型的预测精度,因此本文基于标准的随机梯度下降算法,提出了5种隐特征分析优化模型,为了得到更好的预测精度本文将5种隐特征优化模型进行了集成,主要研究内容如下:(1)提出基于FOBOS和SPGD的方法来构建两种弹性网络隐特征模型,在该模型构建中同时采用L_1和L_2来约束目标函数,既可很好的防治模型过拟合和提高模型数据的稀疏性,也可以增加模型的精度预测。通过在大型工业数据集上的实验表明,模型的预测精度、数据稀疏性等性能都有显着提高。(2)提出基于动量、Nesterov加速和加速随机近端梯度的方法来构建叁种加速隐特征预测模型。在模型训练中,通过不同程度的累加上一次梯度,使模型训练沿着最优解的方向寻优,大大提高模型的收敛速度。通过在大型工业数据集上的实验表明,模型的预测精度、收敛速度等性能都有显着提高。(3)为了使模型具有更高预测精度和鲁棒性,本文将基于标准随机梯度下降算法优化算法构建的5种优化模型进行了集成,大大增益了模型性能。(本文来源于《西华师范大学》期刊2019-04-01）
郑童宜,刘济科,吕中荣[6]（2018）在《基于改进的果蝇优化算法的功能梯度梁结构损伤识别研究》一文中研究指出工程结构的损伤识别是近年来的研究热点。对很多大型结构来说,后期的损伤识别有重要的意义。已经有很多损伤识别的方法在逐渐被提出。果蝇优化算法是一种基于果蝇群体觅食行为推演出的寻求全局优化的方法。为了改进果蝇算法的收敛性能,近来,有人提出了一种用云模型改进的果蝇算法。这种改进的方法运用云模型来描述果蝇种群在嗅觉阶段基的觅食行为的随机性和模糊性。功能梯度材料由于其具有优异的热力学和力学性能,被广泛应用在许多的领域,然而对由功能梯度材料构成的结构进行损伤识别的研究,至今仍然很少有人涉及。在这篇文章中,我们云模型改进的果蝇进行进一步的改进,提高算法的全局搜索能力,并用改进后的算法对功能梯度梁进行局部损伤的识别,得到了准确的识别结果。算例表明改进的算法能达到良好的识别精度,并且具有较好的抗噪声能力。(本文来源于《2018年全国固体力学学术会议摘要集（下）》期刊2018-11-23）
赵志鹏,廖胜利,程春田,钟儒鸿,王昱倩[7]（2018）在《梯级水电站群中长期优化调度的离散梯度逐步优化算法》一文中研究指出充分利用现有水电资源,进行库群中长期优化调度是构建清洁低碳、安全高效的现代能源体系的重要措施。逐步优化算法(POA)将多阶段问题转化为多个两阶段子优化问题,是求解中长期库群优化调度较为广泛且有效的一种方法。但随着水库数目的增加,POA仍会面临严重的"维数灾"问题。本文以梯度下降法为基础,提出离散梯度的概念及离散梯度逐步优化算法(DGPOA),该方法在不直接求导的情况下充分利用局部离散梯度信息确定最优搜索方向,可以快速获得优化结果。最后将该算法应用到澜沧江流域五水库梯级系统中,在不同离散精度和来水条件下,利用POA、POA-DPSA和DGPOA算法对梯级水库进行优化计算。结果表明,在不显着降低全局搜索能力的情况下,DGPOA的计算速度分别达到了POA-DPSA算法的8~12倍,POA算法的50~250倍,是一种解决梯级水库站群中长期优化调度中"维数灾"问题的有效方法。(本文来源于《水利学报》期刊2018年10期）
王俊雅,李甲地,李德权[8]（2019）在《多个体切换网络中带有时延通信的分布式次梯度优化算法》一文中研究指出在一般的非平衡有向切换网络中,网络中的个体间可能存在通信时延现象。针对该情况,文中提出了多个体切换网络中带有时延通信的分布式次梯度优化算法。在该算法中,通过对通信网络进行扩维,将存在通信时延的无约束凸优化问题转化为无时延的无约束凸优化问题进行解决。利用非二次李雅普诺夫函数法证明了只要非平衡有向切换网络是周期强连通的以及通信时延有上界,那么基于时延通信的分布式次梯度优化算法就是收敛的。由于集中考虑了网络拓扑与通信时延,该算法更贴合实际情况。最后通过仿真实验验证了算法的有效性。(本文来源于《计算机科学》期刊2019年07期）
杨婕,张鹏程,张丽媛,桂志国[9]（2018）在《一种基于梯度信息的直接子野优化算法》一文中研究指出针对传统直接子野优化算法(DAO)收敛速度慢、易停滞、全局搜索能力低的缺点,本文提出一种基于梯度信息的直接子野优化方法(GDAO)。在GDAO中分别采用不同的优化方法对子野形状和子野权重进行迭代优化。首先为提高子野形状优化时每次搜索的有效性,对传统模拟退火算法(SA)进行了改进,将梯度信息融合在SA算法中。采用基于梯度的SA法确定子野形状,并在优化同时充分考虑多叶准直器(MLC)叶片间的约束条件,保证优化后的子野形状满足临床放射治疗的要求。之后再利用计算量少、迭代代价低、收敛快且稳定的梯度类具有求解大规模约束优化问题能力的带约束最小存储拟牛顿算法(L-BFGS-B)优化子野权重。实验结果表明,与传统SA算法相比,新算法计算时间减少了15.90%,同时得到的治疗方案靶区最低剂量提高了0.29%,最高剂量降低了0.45%;危及器官膀胱最高剂量降低了0.25%;危及器官直肠最高剂量降低了0.09%,说明在调强放射治疗(IMRT)中采用GDAO方法直接优化子野,可在短时间内得到满足临床要求并可直接实施照射的治疗方案,具有较好的临床实用价值。(本文来源于《生物医学工程学杂志》期刊2018年03期）
李甲地[10]（2018）在《切换网络分布式次梯度优化算法》一文中研究指出近年来,随着复杂系统科学的发展,许多分布式算法可以通过借助多个体系统的方式来实现。由于许多集中式算法难以解决复杂系统的优化问题,因此,分布式算法研究得到越来越广泛的关注。目前分布式优化算法已广泛应用于人类生活的各个方面,如银行等金融单位之间的信息存储与调用、城市交通的调度问题、因特网网络系统、集群式无人飞行器的编队飞行、卫星群的协调等。通过以上系统的共同点给出多个体系统的定义,由大量的具有一定自主能力的个体,通过系统中某些个体之间的局部信息传递耦合而成的大规模的网络化系统,系统中的每一个独立个体都具有自主决策、计算等能力并通过和周围邻居个体进行信息传递协调地完成复杂任务。与集中式算法相比较,分布式算法具有不需要系统全局信息,在复杂环境下具有极强的鲁棒性和适应能力,以及节约成本等优点。并且更重视通讯与个体之间协调在优化中起到的重要作用。因此,本文从多个体系统网络的网络拓扑条件以及个体之间的通讯两个方面进行研究。当多个体系统网络的运行环境极其恶劣时,会出现通信数据丢包、个体连边失效或者个体配备的传感器等设备出现不同的感知范围等故障,使得系统中个体间的进行互惠信息交流变得非常困难或不现实。因而研究多个体系统网络中个体间进行非互惠信息通信具有重要的实际意义。此外,大多数现有的分布式算法一般都基于一个理想化的假设:即构成系统网络的个体间通信的是每个个体状态变量的完全精确的信息。即在实际生活中,要求现实网络的信息传递通道具有无限的网络带宽,并且优化算法能够做到以无限的精度被精确执行。但是实际生活中的多个体系统是呈现空间立体分布的特点,并且因为实际中构成系统个体间信息通道材料性能的不同,使得信息通道存在有限的网络带宽限制,这最终导致了实际生活中,多个体系统中个体之间仅仅只能通过量化信息通信而不是精确信息。因此,本文先研究了有向非平衡切换网络中的一般分布式无约束凸优化问题。进一步地,将网络拓扑与量化信息通信统一考虑,重点研究了基于量化信息通信交流的有向非平衡切换网络的分布式无约束凸优化问题。论文主要内容和研究成果总结如下:一、研究有向非平衡切换网络的分布式次梯度优化算法。不同于已有文献中理想化的假设:假定有向网络拓扑必须是平衡的,这意味着多个体系统网络中个体间的信息交流是平衡的。而这一条件在实际应用中过于苛刻。因为多个体系统网络有空间分布的特性,个体间通常基于远程通信和无线传感网络实现信息共享。尤其是网络运行在非常恶劣的环境中,往往会造成系统网络个体间的通信网络是有向非平衡的。因此,考虑强连通的有向非平衡切换网络,降低对实际网络拓扑条件的要求,拓展了现有文献算法的适用范围。由于非平衡网络对应的邻接矩阵是随机的,利用过渡矩阵的方法对有向非平衡切换网络的分布式次梯度优化算法的分析有一定的困难,本文采用非二次李雅普诺夫函数方法,在有向非平衡切换网络是周期强连通的且对应的邻接矩阵是随机的而非双随机的条件下,证明了所提出的有向非平衡切换网络的分布式次梯度优化算法的收敛性,说明与已有有向平衡网络的分布式次梯度优化算法相比,两种算法在有向非平衡切换网络中运算都收敛到最优值的邻域内且收敛速度几乎相同;但明显地,本文所提出的分布式次梯度优化算法具有更小的迭代误差。接着通过几个仿真实例直观的验证了本文所提算法的有效性以及优势。二、采用有限水平动态一致量化策略,对有向非平衡切换网络的一般无约束分布式凸优化问题进行研究。如果多个体系统网络的个体之间通过某个个体某时刻的个体状态变量的完全的精确信息进行通信,也就是说,若个体之间进行信息传输的某个个体的状态变量是实值,则要求在实际网络中连接个体之间的信息通道必须具有无限的带宽,并且优化算法可以做到以无限的精度被准确执行。这就导致了在实际中的网络化系统中个体间通信的不可能是完全精确的信息。本文考虑有向非平衡切换网络中,个体间通过某个体状态变量的量化信息进行交流并且信息传输受无线通信网络带宽限制,提出了有向非平衡切换网络的分布式量化次梯度优化算法。因此统一考虑了网络拓扑条件以及量化信息通信,弱化已有文献对刻画网络拓扑的邻接矩阵的假设及对网络带宽的要求,更具实用性。利用非二次李雅普诺夫函数方法,证明本文所提出的有向非平衡切换网络的分布式量化次梯度优化算法的收敛性。最后利用计算机进行仿真试验直观表现了所提算法的有效性以及优越性。通过仿真试验结果分析表明:不论一个多个体系统的网络规模有多么大,只需要适当地选取所设计的有限水平动态一致量化器的参数,在同等的网络带宽下,算法不需要额外的通信成本用于通信反馈,降低网络中所有个体达到一致所需的信息量,节约成本。并且使多个体系统网络中的个体收敛更快,从而降低对网络带宽无限的依赖。综上所述,本文在有向非平衡切换网络是周期强连通的且对应的邻接矩阵是随机的而非双随机的以及次梯度有界的条件下,证明了有向非平衡切换网络的分布式次梯度优化算法的收敛性,并且在假定所有信息在发送之前都经过具有有限量化水平的一致量化器的量化的条件下,证明了有向非平衡切换网络分布式量化次梯度优化算法的收敛性。研究分析表明:与有向平衡切换网络的分布式次梯度优化算法相比,有向非平衡切换网络的分布式次梯度优化算法弱化对网络拓扑条件的要求,具有更小的迭代误差。有向非平衡切换网络的分布式量化次梯度优化算法通过对有限水平动态一致量化器的参数的选取,可以节约网络成本并降低对网络通信带宽的依赖。因此,本文所提出的分布式次梯度优化算法具有更广泛的适用范围和应用价值。(本文来源于《安徽理工大学》期刊2018-06-02）
梯度最优化算法论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
在计算机图形学所涉及的诸多问题中,求解线性系统一直扮演着重要的角色,是求解算法中必不可缺少的一部分。尽管大部分问题求解的都是稀疏方程,但是随着数据维度的不断增加,求解大型稀疏线性系统仍然是一个难题,尤其是在运行内存和运行时间方面。在求解关于梯度的优化问题时,其优化变量通常是函数值,而不是梯度值,这就使得在求解的过程中不具有可扩展性,因为在求解过程中要涉及到梯度变量到函数变量的转化。本文提出了一种新的基于梯度场求解方法,其在求解的过程中不需要求解线性方程而是直接得到对应函数的梯度值。最后根据求解出来的梯度值恢复出原来的函数值,可以达到与直接求解线性方程组同样的精度。因为不需要求大型稀疏线性方程,所以此算法具有高效性和可扩展性。本文从两个问题出发,应用此算法。一是二维或者叁维区域内局部重心坐标的求解;局部重心坐标要求最小化重心坐标函数的全变差,同时要满足重心坐标的单位剖分性和线性插值性以及其他重心坐标函数的性质。二是二维或叁维流形中测地距离的计算;测地线距离的计算即是求解相应的Eikonal Equation。这两个问题所涉及到的目标函数都是和梯度相关,因此这两个问题都可以转化为关于梯度变量的带约束的优化问题,然后可以通过ADMM算法进行高效的求解。因为ADMM算法以及问题本身具有可分离的结构,所以我们可以对算法进行高度并行化操作和处理。在得到相应的梯度场后,我们应用一个广度优先搜索算法来恢复相应的函数值,同样这个操作也能够进行并行化操作。总体来说的话我们提出了一个高效的可高度并行化的算法,来求解对应的几何问题,使得在这个过程中不需要求解任何稀疏线性方程,达到提高效率的目的。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
梯度最优化算法论文参考文献
[1].常永虎,李虎阳.基于梯度的优化算法研究[J].现代计算机.2019
[2].陶炯.基于梯度场的高效几何优化算法[D].中国科学技术大学.2019
[3].李喜林,申英霞.基于梯度法的微粒群优化算法在船舶电力系统的应用[J].舰船科学技术.2019
[4].杨志军,陈超然,黄观新.面向机器人优化设计的GA-非均匀Kriging-梯度投影混合全局优化算法[J].机械工程学报.2019
[5].王德贤.基于随机梯度下降的隐特征分析优化算法研究[D].西华师范大学.2019
[6].郑童宜,刘济科,吕中荣.基于改进的果蝇优化算法的功能梯度梁结构损伤识别研究[C].2018年全国固体力学学术会议摘要集（下）.2018
[7].赵志鹏,廖胜利,程春田,钟儒鸿,王昱倩.梯级水电站群中长期优化调度的离散梯度逐步优化算法[J].水利学报.2018
[8].王俊雅,李甲地,李德权.多个体切换网络中带有时延通信的分布式次梯度优化算法[J].计算机科学.2019
[9].杨婕,张鹏程,张丽媛,桂志国.一种基于梯度信息的直接子野优化算法[J].生物医学工程学杂志.2018
[10].李甲地.切换网络分布式次梯度优化算法[D].安徽理工大学.2018