面向真实世界研究中非凸非平滑问题的具有时间扰动的块坐标下降法（英文）

论文摘要

真实世界研究的大数据时代已经来临;这个时代将极大促进医学发展,尤其是肿瘤学。然而,鉴于大规模数据量的增加以及求解的目标问题具有非凸非平滑等不易求解的函数性质,传统机器学习方法不能很好解决这类新问题。我们的目标是求解一个带不等式约束的优化问题,该优化问题是由一个平滑非线性函数与大量块变量可分的非凸非平滑目标函数组合相加而得。提出一种新的并行一阶优化方法,称为带时间扰动的异步块坐标下降法(asynchronous block coordinate descent with time perturbation,ATP)。该方法采用一种从鞍点和次优局部点逃脱的时间扰动技术。通过分析收敛性和迭代复杂度特性,介绍了该方法的详细内容。针对真实世界研究机器学习问题的实验验证了本文所提方法的有效性。实验结果表明,时间扰动使ATP能从鞍点和次优点逃脱;采用异步块坐标下降法为处理具有不等式约束的非凸优化问题提供了一种可行方法。在共享内存多核平台上异步并行的实现,表明该算法具有很强可扩展性。

论文目录

• 1 Introduction
• 2 Related work
• 3 Problem formulation
• 4 Asynchronous block coordinate descent with time perturbation
•   4.1 Randomized block variable selection rule
•   4.2 Line search criterion
•   4.3 Stopping criterion
•   4.4 Time perturbation
• 5 Analyses of convergence and iteration complexity
•   5.1 Convergence analysis
•   5.2 Iteration complexity analysis
• 6 Experiments
•   6.1 Randomized variable selection rule vs.cyclic variable selection rule
•   6.2 Synchronous block coordinate descent with time perturbation vs.without time perturbation
•   6.3 Synchronous vs.asynchronous
• 7 Conclusions
• Compliance with ethics guidelines

文章来源

类型: 期刊论文

作者: Rui LIU,Wei-chu SUN,Tao HOU,Chun-hong HU,Lin-bo QIAO

关键词: 收敛分析,异步块坐标下降法,时间扰动,非凸非平滑优化,真实世界研究

来源: Frontiers of Information Technology & Electronic Engineering 2019年10期

年度: 2019

分类: 信息科技,基础科学

专业: 数学

单位: Department of Oncology, The Second Xiangya Hospital of Central South University,First Clinical Medical College, University of South China,College of Computer, National University of Defense Technology

基金: Project supported by the National Key R&D Program of China(No.2018YFB2101100),the National Natural Science Foundation of China(Nos.61806216 and 61702533)

分类号: O224

页码: 1390-1404

总页数: 15

文件大小: 822K

下载量: 19