无约束优化问题的一种新的扰动BFGS方法

论文摘要

经典BFGS方法是求解优化问题最有效的一种拟牛顿方法.牛顿法具有二次收敛速度和高精度,但每一次迭代需要计算目标函数的海色矩阵,计算量大.而拟牛顿法是牛顿法的一种近似,其迭代矩阵是海色矩阵的近似,满足著名的拟牛顿方程,无需计算问题的海色阵,减少了计算量,同时还具有局部的超线性收敛速度.当相邻两个迭代向量之差和对应的梯度向量之差的内积大于零时,BFGS迭代矩阵具有对称正定性质,其生成的拟牛顿方向是目标函数的下降方向,从而可采用Armijo搜索和Wolfe搜索计算步长.文献[3]证明了 BFGS方法在Wolfe搜索下求解凸优化问题时具有全局收敛性质.但对于非凸优化问题,文献[4,5]中的结果表明BFGS方法在Wolfe搜索或精确搜索下求解非凸问题时可能发散,不具有全局收敛性.为了保证BFGS方法对非凸问题具有全局收敛,有必要对BFGS校正公式进行适当修正或对线性搜索进行改进.文献[1]提出了另一种全局化策略,对经典BFGS迭代矩阵进行适当扰动,并证明了该扰动的BFGS方法在Wolfe搜索下对非凸问题全局收敛.本文基于文献[2]中的修正BFGS公式,结合文献[1]中的扰动技巧,提出了一种求解无约束优化问题的新的扰动BFGS方法并分析其收敛性质.本文主要内容安排如下:第1章,介绍预备知识、问题研究背景及本文主要研究内容和创新点.第2章,相对于经典BFGS校正公式,文献[2]中提出的修正BFGS公式所生产的迭代矩阵能更好的逼近目标函数的海色矩阵,但该修正方法只证明了在Wolfe搜索下求解凸优化问题具有全局收敛性.本文采用文献[1]中的扰动策略,对该修正BFGS迭代矩阵进行扰动,提出了一种新的扰动BFGS方法.在适当条件下,我们证明了所提算法在Wolfe搜索下对非凸问题全局收敛.第3章,我们讨论新的扰动BFGS方法的局部收敛性质.在适当假设下,我们证明其具有超线性收敛性质.第4章,我们对提出的算法进行数值实验,验证算法的有效性。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
•   1.1 预备知识
•     1.1.1 无约束问题及最优性条件
•     1.1.2 求解无约束最优化问题的几种基本方法
•     1.1.3 线性搜索准则
•   1.2 研究背景及进展
•   1.3 本文的主要工作与创新点
• 第2章 新的扰动的BFGS方法及其全局收敛性
•   2.1 新的扰动的BFGS方法
•   2.2 新的扰动的BFGS方法算法的全局收敛性分析
• 第3章 局部超线性收敛性分析
•   3.1 必要的假设
•   3.2 引理和定理的证明
• 第4章 数值实验
•   4.1 数值实验要求及参数选取
•   4.2 数值实验结果
• 结论
• 参考文献
• 致谢
• 附录A （攻读学位期间发表的论文）
• 附录B （数值实验程序）

文章来源

类型: 硕士论文

作者: 陈飞

导师: 周伟军

关键词: 非凸,扰动,方法,全局收敛,超线性收敛

来源: 长沙理工大学

年度: 2019

分类: 基础科学

专业: 数学

单位: 长沙理工大学

分类号: O224

DOI: 10.26985/d.cnki.gcsjc.2019.000210

总页数: 41

文件大小: 1414K

下载量: 34