基于Folded Concave惩罚的稀疏线性回归模型的研究

论文摘要

论文主要研究的是在Concave Folded惩罚下的稀疏线性回归(FCPSLR),在Concave Folded惩罚下的稀疏线性回归已经有了具体的算法,但是满足条件的近似解是否足够接近真实解,并且整个过程与算法无关。为了解决这一问题论文主要从以下几方面进行研究和论述:(1)回归模型的解在哪些条件下对Concave Folded惩罚参数是一个稀疏估计量;(2)在一个空间中稀疏近似解满足二阶必要性条件,这相比于满足其他条件的解会以更高的概率值逼近真实的参数值,会产生更小的有界误差;(3)我们将(2)应用于FCPSLR的特殊情况之下求解凹处惩罚函数的极小值,并且从客观意义上来说在KKT条件之下任何满足二阶必要性条件的解相比于Lasso解具有更高的精度;(4)论文主要采用二阶平稳收敛的增广拉格朗日方法,将约束条件分为活跃约束和非活跃约束,分别放入子问题和惩罚函数中来求解,每个子问题的解可以通过返回近似二阶平稳点的数值算法来完成。

论文目录

• 摘要
• Abstract
• 1 论文的研究背景
•   1.1 问题提出的背景介绍
•   1.2 已有的研究成果
•   1.3 问题介绍及理论背景
• 2 必要性条件及解的稀疏性
•   2.1 必要性条件
•   2.2 解的稀疏性
•     2.2.1 稀疏解的一阶界限
•     2.2.2 稀疏始解的二阶界限
• 3 稀疏解的精度
•   3.1 假设条件
•   3.2 稀疏解的精度
• 3ONC解的统计精度'>    3.2.1 任意S³ONC解的统计精度
•     3.2.2 强Oracle性质
• 3ONC条件下Lasso估计的优良性能'>    3.2.3 S³ONC条件下Lasso估计的优良性能
• 4 最优解算法及求解过程
•   4.1 增广拉格朗日的框架
•     4.1.1 PHR算法
•     4.1.2 增广拉格朗日方法的实施
•   4.2 二阶增广拉格朗日法
•     4.2.1 相关定义
•     4.2.2 相关定理
• 5 算法的实际验证
•   5.1 Lasso回归与其他回归的比较
•     5.1.1 最小二乘回归
•     5.1.2 岭回归
•     5.1.3 lasso回归
•     5.1.4 结论
•   5.2 增广拉格朗日法的实施
•     5.2.1 PHR算法程序
•     5.2.2 实例验证
•     5.2.3 增广拉格朗日方法的不足
• 结论
• 参考文献
• 附录A 主要数据
• 附录B 文中的所有程序
•   1 三种回归在R中的比较
•   2 PHR算法程序
• 致谢

文章来源

类型: 硕士论文

作者: 解云华

导师: 肖现涛

关键词: 惩罚,稀疏线性回归,估计,二阶必要性条件,增广拉格朗日算法

来源: 大连理工大学

年度: 2019

分类: 基础科学

专业: 数学

单位: 大连理工大学

分类号: O212.1

DOI: 10.26991/d.cnki.gdllu.2019.002567

总页数: 56

文件大小: 1665K

下载量: 17