导读:本文包含了在线梯度法论文开题报告文献综述及选题提纲参考文献，主要关键词:分布式优化,条件梯度,无投影,在线学习
在线梯度法论文文献综述
董翘[1]（2019）在《基于条件梯度法的分布式在线学习算法》一文中研究指出近年来,伴随互联网的快速发展,云计算、大数据等新兴领域不断的涌现,其结果就是数据量的爆炸式增长。海量数据处理问题已成为工程应用等行业的热点问题,事实上,许多优化算法已被相继提出,借助多个体网络从大规模数据集中提取有用信息。这种与多个体网络相结合的优化算法分为集中式算法和分布式算法。其中,分布式算法假定多个体网络中各节点无主次之分,节点间互相通信共享计算资源,有效地降低了集中式算法由于网络中心节点故障导致整个网络瘫痪的风险。已有的分布式算法通常假定多个体网络中节点数据是静态的,且要等到网络中所有节点数据都被收集后再进行数据处理,这种离线的学习方式会带来高昂的通信代价,因此研究在线学习方式下的分布式算法意义重大。本文针对多个体网络节点数据为动态流数据的问题,提出了分布式在线条件梯度算法(DOCG)和快速分布式在线条件梯度算法(Fa-DOCG)。首先,针对现有分布式在线优化算法所面临的高维约束时投影运算难以实现的问题,提出DOCG算法,目的是利用条件梯度算法无投影的特性,实现线性优化步骤对投影步骤的替代,解决高维约束带来的投影计算瓶颈问题。其次,为解决DOCG算法收敛速度慢的问题,提出Fa-DOCG算法。利用局部线性优化Oracle机制替代DOCG算法的线性优化步骤,使算法收敛速度呈指数级改善。最后,通过分析表征在线估计性能的Regret界,证明了 DOCG算法和Fa-DOCG算法分别具有 O(73/4)和O(logT)的 Regret 界。本文设计的两种算法融合正则化函数和各节点局部信息构建新的时变成本函数,从而实现对分布式网络中节点数据的实时处理,并且有效解决传统条件梯度法对梯度大小不敏感问题。最后理论上证明了两种算法的有效性,分析表明:投影运算并不影响算法的收敛,而是影响算法的收敛速度,相比之下,采用线性近似优化替代投影操作,可在一定程度上提高算法收敛速度。图[20]表[0]参[44]。(本文来源于《安徽理工大学》期刊2019-06-01）
申倩倩,孙宗海[2]（2011）在《基于自适应自然梯度法的在线高斯过程建模》一文中研究指出为了满足在线建模算法的实时性要求,提出了在高斯过程的训练中使用自适应自然梯度法(ANG),即基于自适应自然梯度法的在线高斯过程回归建模算法。将此算法运用在Micky-Glass系统和连续搅拌反应釜(CSTR)模型的建立中,并与稀疏在线高斯过程算法进行比较。仿真结果表明此算法满足了非线性系统建模的实时性和精度的要求,同时克服了其他方法计算量很大、不符合在线算法的实时性要求的缺点。(本文来源于《计算机应用研究》期刊2011年01期）
张超,李正学,陈先华,熊焱[3]（2010）在《用在线梯度法训练积单元神经网络的收敛性分析》一文中研究指出1引言仅由加和单元构成的传统前向神经网络已经广泛应用于模式识别及函数逼近等领域.但在处理比较复杂的问题时,这种网络往往需要补充大量的隐节点,这样就不可避免地增(本文来源于《高等学校计算数学学报》期刊2010年03期）
亢喜岱[4]（2007）在《Pi-Sigma神经网络随机输入在线梯度法的收敛性》一文中研究指出BP神经网络是目前应用最广泛的前馈神经网络模型之一。但其收敛速度慢也成为它的一个重要局限。高阶神经网络既拥有比BP神经网络更强的非线性分类能力，又将训练时间大大减少。Pi-Sigma神经网络(Pi-Sigma Neural Network，简称PSNN)是Y.Shin和J.Ghosh在1991年提出的一种新的高阶神经网络。它的结构是简单的单层感知器，因此收敛速度快。同时又具有高阶神经网络特有的强非线性映射能力，而且避免了高阶神经网络存在的“维数灾难”问题。Pi-Sigma神经网络和以其为模块构造的神经网络广泛应用于求解各种分类和逼近问题。关于神经网络的收敛性，以往的结论往往是概率性的。近年来，吴微教授等人在BP神经网络确定性收敛方面做了大量的工作，也得到了许多成果。但关于高阶神经网络尤其是Pi-Sigma神经网络的确定收敛性方面的工作才刚刚开始。关于Pi-Sigma神经网络离线梯度法和顺序样本输入在线梯度法的收敛性结论已经分别在文献[12]和[13]中给出。本文推广了这些结果，给出了Pi-Sigma神经网络随机输入在线梯度法的收敛性结论及证明。其中包括：每一轮输入后误差函数的单调递减性，以及该算法的弱收敛性和强收敛性。另外，本文通过数值试验给出了学习率和初始权值对Pi-Sigma网络收敛性的影响，并对这些现象进行了分析，给出了一些改进方法和解决措施。(本文来源于《大连理工大学》期刊2007-06-01）
陆丰,沈希忠,周国标[5]（2007）在《基于共轭梯度法的盲分离在线算法》一文中研究指出在严格论证盲分离问题与数学上的最优化问题等价的基础上,把问题的重点集中在对该最优化问题的寻优上。由于盲分离最优化问题的目标函数的特点,在欧氏空间中对决策变量(分离矩阵W)进行寻优求解带来诸多复杂因素,寻优算法在弯曲的黎曼空间中动态运行是解决这些问题的一条可行途径。为此,本文在改进NGA和PDFA算法的基础上,结合在线算法PDEA在估计信号的得分函数的较好效果,和求解最优化问题的共轭梯度法较快收敛性能,提出了具有自学习能力,并继承共轭梯度法特点的盲分离在线算法PDEA-CONJ。此算法应用到盲分离问题中,在混合矩阵严重病态情况下能取得了较好分离效果。实际算例验证了其收敛性和有效性。(本文来源于《南昌大学学报(理科版)》期刊2007年01期）
张立庆[6]（2004）在《带惩罚项的BP神经网络在线梯度法》一文中研究指出多层前传神经网络在许多领域有着广泛的应用。网络的泛化能力，即网络在训练集以外的样本上的精度，是标志神经网络性能的一个重要指标。提高网络泛化能力的一个重要指导思想是选择能够在训练集上达到精度要求的尽可能小的网络。 这里所说的小网络是指具有较少的神经元或连接的网络。得到这样的较小网络的一个有效途径是：在网络训练完成之后删除一些不重要的单元或连接。关于这方面的算法的介绍参见[7，15，19]。其中，从网络中删除连接权值的方法中包括在传统的误差函数中加入一个惩罚项，这样不重要的连接就有较小的权值，修剪这些权值就可以使网络的复杂性大大减小[22]。另外，在一些训练结束时不对网络进行修剪的情况中，网络的复杂性仍然会因为权值都比较小而大幅降低，因而会表现出较好的泛化能力[18，26]。所以在BP网络的误差函数中加入惩罚项是提高网络泛化能力的一个重要途径。 已有许多文献研究了多种不同的惩罚项，例如[10，12，13，22，26]。他们中的大多数([10,12，22,26])都是在实验的基础上对惩罚项的性能进行研究，没有在数学上论证权值的有界性。Jun Kong & Wei Wu [13]对一种惩罚项的性质在数学上作了研究，他们在训练样本线性无关(样本个数不能多于样本的维数)的条件下，证明了应用惩罚项到无隐层BP网络中可以保证权值有界。本文将在Jun Kong & Wei Wu [13]工作的基础上探讨将惩罚项应用到更重要的有隐层BP神绎网络中，同时允许样本线性相关。我们证明了在上述条件下，网络的每个权值都是有界的，并且网络是确定性弱收敛的(误差函数关于权值向量的导数的模收敛到零)。(本文来源于《大连理工大学》期刊2004-06-01）
周后型,童创明,洪伟[7]（2001）在《预条件共轭梯度法在线天线阵列RCS分析中的应用》一文中研究指出为计算线天线阵列的雷达散射截面 ,用脉冲函数为基函数的 Galerkin法将线天线阵列的电场积分方程组转化为一个线性方程组 ,其系数矩阵是一个对称的二重复 Toeplitz矩阵 .用预条件共轭梯度法与快速傅里叶变换的组合算法求解该线性方程组 ,其中预条件器采用 T.Chan的循环预条件器的分块形式 .这样的处理方法降低了对计算机内存的需求 ,加快了迭代速度 ,并提高了算法的收敛性(本文来源于《应用科学学报》期刊2001年02期）
李正学,吴微,张宏伟[8]（2001）在《二层前传神经网络中在线梯度法的收敛性(英文)》一文中研究指出本文给出了一般情况下二层前传神经网络中的在线梯度法的收敛性定理，并将其应用于一些常用的活化函数和能量函数。(本文来源于《数学研究与评论》期刊2001年02期）
在线梯度法论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
为了满足在线建模算法的实时性要求,提出了在高斯过程的训练中使用自适应自然梯度法(ANG),即基于自适应自然梯度法的在线高斯过程回归建模算法。将此算法运用在Micky-Glass系统和连续搅拌反应釜(CSTR)模型的建立中,并与稀疏在线高斯过程算法进行比较。仿真结果表明此算法满足了非线性系统建模的实时性和精度的要求,同时克服了其他方法计算量很大、不符合在线算法的实时性要求的缺点。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
在线梯度法论文参考文献
[1].董翘.基于条件梯度法的分布式在线学习算法[D].安徽理工大学.2019
[2].申倩倩,孙宗海.基于自适应自然梯度法的在线高斯过程建模[J].计算机应用研究.2011
[3].张超,李正学,陈先华,熊焱.用在线梯度法训练积单元神经网络的收敛性分析[J].高等学校计算数学学报.2010
[4].亢喜岱.Pi-Sigma神经网络随机输入在线梯度法的收敛性[D].大连理工大学.2007
[5].陆丰,沈希忠,周国标.基于共轭梯度法的盲分离在线算法[J].南昌大学学报(理科版).2007
[6].张立庆.带惩罚项的BP神经网络在线梯度法[D].大连理工大学.2004
[7].周后型,童创明,洪伟.预条件共轭梯度法在线天线阵列RCS分析中的应用[J].应用科学学报.2001
[8].李正学,吴微,张宏伟.二层前传神经网络中在线梯度法的收敛性(英文)[J].数学研究与评论.2001