基于多源数据融合的支持向量机模型

论文摘要

21世纪是大数据的时代,计算机技术飞速进步,数据的获取和储存都变得十分便利,数据的数量和形式都不可同日而语,很多部门每天都有巨大数量、不同形式的数据产生。大数据是由主体、来源和形式都不同的数据合并而成,不同数据集由于数据来源不同,彼此之间存在一定的差异性,但研究同一课题时,同样的解释变量和被解释变量在不同数据集之间又存在一定的关联。正是因为大数据具有数据来源差异性、高维性及稀疏性等特点,在对于多个来源的数据集进行分析时,需要准确挖掘出数据集间的异质性（heterogeneity）和同质性（homogeneity）并实现精准的预测效果是大数据分析的目标与挑战之一。目前多源数据分析已经在生物统计、个人征信等领域有了研究与应用,而对于文本分类问题,同样面临需要处理多个数据源的问题,比如针对用户的个性化垃圾邮件识别,针对多领域的情感分类任务等等。国内外关于文本分类的研究已经有很多,主流方法是在进行一定的特征工程后,基于统计学、机器学习等方法建立的分类模型,而且视实际问题而进行不同的处理,建立的模型都能够较准确的预测所研究的问题,而且模型都比较稳定效果较好的有支持向量机、boosting等方法。但是很少有学者意识到多源数据对于文本分类问题的同样存在着影响并在此基础上进行研究。本文在原始支持向量机的基础上,借助多源数据整合分析方法。提出组惩罚下的支持向量机模型,在Composite MCP（Minimax Concave Penalty）惩罚的基础上添加Sign-based惩罚,鼓励数据集间共同变量的系数符号相似,尽可能提取变量组内同时提取数据集之间的异质性和同质性,构建cMCPs（cMCP惩罚+Sign-based惩罚）-SVM模型,并且在模拟数据和实证当中的文本数据中分别进行模拟分析和实证分析。本文使用的方法属于双层变量选择方法,利用组坐标下降法求解最优化问题,并以样本外预测准确率（Accuracy）、真正例率（TPR）和AUC（Area Under Curve）值作为评价模型分类效果的标准。在三组模拟实验中,将cMCPs-SVM模型同cMCP-SVM模型、分数据集MCP-SVM模型进行对比,并从变量选择效果和分类效果两方面进行评价,发现cMCPs的支持向量机模型具有优势,且数据集内部相似性越大优势越明显。

论文目录

• 摘要
• Abstract
• 第一章 绪论
•   1.1 研究背景和意义
•   1.2 文献综述
•     1.2.1 分类方法与应用研究综述
•     1.2.2 变量选择和多源数据分析研究综述
•     1.2.3 支持向量机和变量选择研究综述
•     1.2.4 研究述评
•   1.3 本文组织结构
•   1.4 本文贡献
• 第二章 支持向量机和变量选择方法介绍
•   2.1 支持向量机方法介绍
•     2.1.1 最大间隔分类器
•     2.1.2 支持向量分类器
•     2.1.3 支持向量机
•     2.1.4 损失函数加罚形式的支持向量机
•   2.2 基于惩罚函数的变量选择方法
•     2.2.1 单变量选择方法
•     2.2.2 组变量选择方法
•     2.2.3 双层变量选择方法
•   2.3 基于惩罚函数的变量选择在支持向量机中的应用
• 第三章 多源数据融合的支持向量机模型
•   3.1 模型介绍
•     3.1.1 模型基本形式
•     3.1.2 惩罚函数选择
•     3.1.3 目标函数
•   3.2 模型计算
•     3.2.1 求解过程
•     3.2.2 算法
•     3.2.3 调整参数的选择
•     3.2.4 支持向量机模型评价标准
•   3.3 本章小结
• 第四章 模拟分析
•   4.1 模拟设置
•   4.2 模拟结果分析
•     4.2.1 模拟一（显著变量完全相同）
•     4.2.2 模拟二（大部分显著变量相同）
•     4.2.3 模拟三（小部分显著变量相同）
•   4.3 本章小结
• 第五章 多用户垃圾邮件分类
•   5.1 数据介绍和预处理
•     5.1.1 数据介绍
•     5.1.2 数据预处理
•   5.2 模型建立与评估
•     5.2.1 模型建立
•     5.2.2 模型评估
•     5.2.3 变量选择效果
•   5.3 本章小结
• 第六章 总结与展望
•   6.1 总结
•   6.2 存在的不足和展望
• 参考文献
• 致谢

文章来源

类型: 硕士论文

作者: 盖志浩

导师: 方匡南

关键词: 多源数据,整合分析,支持向量机

来源: 厦门大学

年度: 2019

分类: 基础科学,经济与管理科学

专业: 数学,宏观经济管理与可持续发展,信息经济与邮政经济

单位: 厦门大学

分类号: F224;F614

总页数: 65

文件大小: 3297K

下载量: 27