高维数据的稀疏估计及其应用

论文摘要

高维统计处理的是统计模型的参数个数n远大于样本量m的情形。在高维情形下,如何估计未知的真实参数,被普遍认为是当下统计学的一项重要挑战,因为如果没有其它的约束条件,人们往往不可能得到统计一致的估计量。幸运的是,大量实际应用的经验研究表明,高维数据通常存在某种低维结构,从而给参数估计带来方便。其中最常用的低维结构是稀疏结构,被广泛应用于稀疏线性回归、低秩矩阵回归、稀疏协方差和逆协方差矩阵估计等。与此同时,参数估计通常是通过求解相应的优化问题完成的。这样一来,数据的高维特性对计算的效率和效力都提出了要求。已有的研究主要集中在使用凸优化方法进行参数估计,并且获得了一系列理论和计算方面的成果。近年来,研究发现非凸优化方法具有更强的增进稀疏性的能力,因此逐渐被用于稀疏估计问题。由于问题本身的非凸性,一般而言,局部最优解并不一定是全局最优解。而数值方法通常只能得到某些特定的局部解,关于全局解和任意局部解的研究结果依然十分有限。这使得理论与实际应用之间存在着显著差距。在这一背景下,本文主要研究了几类非凸优化方法在高维数据的稀疏估计中的应用,探讨了全局解和局部解的统计理论性质并对计算性能进行了分析。最后在应用层面,我们结合理论结果,利用超高维全基因组关联分析数据潜在的稀疏性,探索了生命科学领域的遗传度估计问题,并提出了一个新的估计方法。本文的主要内容分为以下三部分。在第2章中,我们考虑了稀疏优化领域一个重要的非凸正则项——q（0<q<1）范数,并以高维线性回归为例,研究了参数估计问题。我们分析了q（0<q≤1）优化方法,包括q最小化和正则化方法的统计性质。为此,我们引入了较弱的q-限制特征值条件并且以几个常用正规条件的形式给出了其成立的充分条件,包括稀疏特征值条件,限制等距性质以及互不相关性质。随后,利用q-限制特征值条件,在设计矩阵为确定的和随机的情形下,我们分别以很高的概率得到了q最小化和正则化方法全局解的2误差界和oracle性质。这些结果表明q优化方法只需较弱的条件,就可以获得统计一致的参数估计量,并且为分析q优化方法的统计性质建立了统一的框架。最后,我们进行了数值实验对理论结果进行了验证,展示了q优化方法相比于现有几种常用的稀疏优化方法的优势。在第3章中,我们分析了一类一般的非凸正则化M-估计问题任意局部解的统计和算法性质,其中非凸正则项以常见的SCAD和MCP为特例。统计方面,在损失函数满足限制强凸性和正则项满足某些正规条件的假设下,我们建立了任意非凸正则化M-估计量局部解的2误差界,表明这类非凸优化问题的任意局部解都位于真实参数的小邻域内。这一结果不依赖于具体的算法,且提供了对所有局部解的统计一致性保证。算法方面,为了求解该非凸优化问题,我们分解了优化目标函数,然后应用邻近梯度法,证明了算法的线性收敛率,这达到了一阶算法所能取得的最快收敛速度。特别而言,对SCAD和MCP,我们对正则项的一般化假设使得一种简单的分解成为可能,借助这一分解可以构造更为简便易行的算法迭代并取得更好的参数估计效果。最后,我们在扰动线性回归模型上进行了一系列数值实验,显示了与理论结果高度的一致性。遗传度是探索人类复杂特征遗传结构的一个重要途径,衡量了人群中复杂特征的表型差异在多大程度上是由遗传因素的差异导致的。近年来,超高维全基因组关联分析的数据被用来估计遗传度。现有的遗传度估计方法基于线性混合模型,假设遗传效应是随机的,这与经典数量遗传学的确定效应假设相反。并且,现有方法估计的遗传度通常带有较大的标准误,使得估计结果的可靠性值得怀疑。在第4章中,我们首先研究了确定效应和随机效应假设对遗传度估计的影响,在理论层面上证明了一定条件下,这两个假设是等价的。然后,我们提出了一个两步方法:先通过交叉验证的elastic net进行稀疏正则化,再在简化的模型上进行方差估计以构造可靠的估计量。最后,模拟和真实数据上的结果显示了该方法能很大程度地降低遗传度估计量的标准误。这一方法表明如果考虑了数据潜在的稀疏性,即使只有相对较少的样本,依然能够得到标准误较小的估计量,这对基因组时代大规模的遗传度分析十分重要。

论文目录

• 摘要
• Abstract
• 术语缩写
• 第1章 绪论
•   1.1 研究背景与意义
•   1.2 国内外文献综述
•     1.2.1 线性回归的低阶估计问题
•     1.2.2 正则化M -估计问题
•     1.2.3 遗传度估计问题
•   1.3 本文研究内容和结构安排
• 第2章 高维线性回归的低阶估计方法
•   2.1 引言
•   2.2 限制特征值条件
•   2.3 主要结果和证明
•     2.3.1 确定设计矩阵的结果
•     2.3.2 随机设计矩阵的结果
•   2.4 数值实验
•   2.5 本章小结
• 第3章 一类非凸正则化M-估计方法
•   3.1 引言
•   3.2 主要假设
•     3.2.1 非凸损失函数以及限制强凸性和限制强光滑性
•     3.2.2 非凸正则项和正规条件
•   3.3 主要结果和证明
•     3.3.1 统计结果
•     3.3.2 算法结果
•   3.4 扰动线性回归模型的推论
•   3.5 数值实验
•   3.6 本章小结
• 第4章 全基因组关联分析中的遗传度估计方法
•   4.1 引言
•   4.2 研究方法
•     4.2.1 线性模型
•     4.2.2 遗传度估计方法
•     4.2.3 模拟数据生成过程
•     4.2.4 IMAGEN项目的真实数据
•   4.3 主要结果
•     4.3.1 关于确定和随机效应的结果
•     4.3.2 关于样本量与SNP个数的结果
•     4.3.3 关于稀疏性的结果
•     4.3.4 关于提出方法性能的结果
•     4.3.5 IMAGEN项目真实数据的结果
•   4.4 结果讨论
•   4.5 本章小结
• 第5章 结论
• 参考文献
• 附录A 第二章的补充证明
•   A.1 引理2.2的证明
•   A.2 引理2.7的证明
• 附录B 第三章的补充证明
•   B.1 引理3.4的证明
•   B.2 引理3.5的证明
•   B.3 引理3.6的证明
•   B.4 引理3.7的证明
•   B.5 推论3.1的证明
•   B.6 推论3.2的证明
• 附录C 第四章的补充材料
• 致谢
• 作者简历
• 攻读博士学位期间主要研究成果

文章来源

类型: 博士论文

作者: 李欣

导师: 李冲,蒋田仔

关键词: 高维,稀疏性,参数估计,非凸优化方法,误差界,一致性,收敛率,遗传度

来源: 浙江大学

年度: 2019

分类: 基础科学

专业: 数学

单位: 浙江大学

分类号: O212

DOI: 10.27461/d.cnki.gzjdx.2019.002050

总页数: 134

文件大小: 7455K

下载量: 77