一种有效的拟合稀疏Envelope模型的DC方法

论文摘要

大数据时代带给我们的不仅是海量的数据,更多的是数据复杂性和维度多样性的增加。在数据科学与统计学习中,设计复杂多维度问题的高效算法成为一个重要研究方向,其中对海量数据的降维处理方法是研究的关键点。稀疏Envelope模型是对高维数据进行参数估计和响应变量选择的有效模型之一。稀疏Envelope模型已经建立良好的统计性质,但对该模型算法理论的研究还不够完善。由于在实际应用中,需要进行交叉验证确定超参的取值,即使只考虑稀疏Envelope模型的一个实例,也需要多次求解稀疏Envelope模型这个非凸非光滑模型,所以算法能否高效求解是一个关键问题。本文基于DC(Difference of Convex functions)规划和邻近点方法的思想,提出了一种有效求解稀疏Envelope模型的加速邻近梯度型算法。把稀疏Envelope模型在DC规划的框架下进行松弛,并证明该松弛问题的凸性。为了提高子问题的求解效率,利用邻近点算法思想,提出一种加速邻近梯度算法来进行求解。我们把本文提出的算法通过MATLAB编程实现。数值实验表明,与现用于求解稀疏Envelope模型的块坐标下降算法相比,该方法可以大幅度减少计算时间。

论文目录

• 摘要
• Abstract
• 第1章 绪论
•   1.1 研究背景
•   1.2 国内外研究现状
•   1.3 主要结果
•   1.4 论文结构
• 第2章 预备知识
•   2.1 定义和定理
•   2.2 DC规划
•   2.3 Envelope模型
•   2.4 本章小结
• 第3章 稀疏Envelope模型的DC算法
• 1（A）梯度及Lipschitz常数'>  3.1 p₁（A）梯度及Lipschitz常数
• 2（A）梯度'>  3.2 p₂（A）梯度
•   3.3 DC分解
•   3.4 邻近DC算法（PDCA）
•   3.5 求解DC子问题
•   3.6 本章小结
• 第4章 数值实验
•   4.1 实验结果
•   4.2 本章小结
• 结论
• 参考文献
• 致谢

文章来源

类型: 硕士论文

作者: 肖琦

导师: 赵欣苑

关键词: 多元线性回归,稀疏模型,规划,邻近算子

来源: 北京工业大学

年度: 2019

分类: 基础科学

专业: 数学

单位: 北京工业大学

分类号: O212.1

DOI: 10.26935/d.cnki.gbjgu.2019.000913

总页数: 45

文件大小: 1535K

下载量: 9