特征扩维判别分析（FADA）

论文摘要

线性判别分析是最经典的统计学习方法之一。LDA具有诸多魅力,如:在样本容量较小时,相较逻辑回归,LDA具有更好的渐近效率和更稳定的估计;当数据服从多元正态分布时,LDA又被证明是贝叶斯最优分类器,并且中心极限定理的存在使得这个性质尤其具有吸引力。但当面临非线性可分场合、多原型混合、小样本高维特征这三种场景时,LDA不再适用。本文主要针对非线性可分场景的判别分析拟合进行研究,我们提出了特征扩维判别分析方法（FADA）。朴素贝叶斯分类器在高维场景下的不俗表现,证明了自变量的条件边际密度能够有效地帮助解决判别问题,因此我们利用这类单变量转换构造新特征。对于一组数据,我们将其均分为两部分,一部分用以估计每个类别下、每一维自变量的条件边际密度函数（?）,再将另一部分数据原有的输入变量代入计算,得到对数边际密度函数（log-marginal-density）形式的特征（?）,从而拓展获得高维特征空间,利用稳健的高维判别分析方法SDA求解判别向量的稀疏解。我们的方法是FANS算法与SDA算法的一种结合,并且将前者中的两分类问题推广到了多分类。数值模拟和实证数据应用证实了 FADA能够有效解决多分类的非线性可分问题;针对各种分布类型的数据,FADA都能给出灵活的决策边界,且其求解的稀疏判别方向为模型提供了一种自然的可视化方案。

论文目录

• 摘要
• Abstract
• 第一章 绪论
•   1.1 判别分析的背景和意义
•   1.2 论文主要工作及创新点
• 第二章 文献综述
•   2.1 线性判别分析求解路径
•   2.2 线性判别分析的优势、局限与改进思路
•   2.3 稀疏判别分析（SDA）
•   2.4 LDA中的特征空间扩维方法
•   2.5 FANS
• 第三章 特征扩维判别分析
•   3.1 一个简单引例
•   3.2 FADA的思想阐述
•   3.3 方法步骤详述
•   3.4 数值模拟
•     3.4.1 非典型数据
•     3.4.2 线性可分情形
•     3.4.3 线性不可分情形
•   3.5 案例数据
•     3.5.1 三角波型数据
•     3.5.2 元音识别数据
•     3.5.3 冠状动脉疾病数据
• 第四章 结论与探讨
• 参考文献
• 致谢

文章来源

类型: 硕士论文

作者: 王柳盈

导师: 钟威

关键词: 判别分析,线性不可分,维度扩展

来源: 厦门大学

年度: 2019

分类: 基础科学

专业: 数学

单位: 厦门大学

分类号: O212

总页数: 50

文件大小: 2643K

下载量: 8