梯度有偏随机DA优化方法的个体收敛界分析

论文摘要

样本不满足独立同分布会使梯度估计在迭代过程中存在偏差,且最优的个体收敛界在噪声的干扰下无法确定。为此,提出一种线性插值随机对偶平均(DA)优化方法。给出DA方法收敛性的证明,在梯度估计有偏的基础上,求解得到一种线性插值DA随机优化方法不产生累积偏差的个体收敛界,以保证正则化损失函数结构下优化方法的个体收敛精度。实验结果表明,与随机加速方法相比,该方法具有较快的个体收敛速率与较高的收敛精度。

论文目录

• 0 概述
• 1 有偏随机优化
• 2 DA收敛速率证明
• 3 梯度有偏差对偶平均方法的个体收敛速率
• 4 实验结果与分析
•   4.1 人工数据集
•   4.2 真实数据集
• 5 结束语

文章来源

类型: 期刊论文

作者: 张梦晗,汪海,刘欣,鲍蕾

关键词: 对偶平均方法,随机优化,个体收敛性,梯度有偏估计,最优收敛速率

来源: 计算机工程 2019年10期

年度: 2019

分类: 信息科技,基础科学

专业: 数学

单位: 中国人民解放军陆军炮兵防空兵学院信息工程系,中国人民解放军陆军炮兵防空兵学院基础部

基金: 国家自然科学基金(61673394)

分类号: O224

DOI: 10.19678/j.issn.1000-3428.0052466

页码: 203-207+214

总页数: 6

文件大小: 245K

下载量: 102