基于MCP惩罚的AdaBoost集成剪枝技术的研究

论文摘要

AdaBoost是一种有力的集成学习方法,能将一系列低预测精度的弱学习器结合成为一个高预测精度的强学习器。然而,与其它集成学习方法相似,AdaBoost也需要使用大量的基学习器来产生最终的预测结果,因此当数据维度较高或集成规模较大时,构建AdaBoost集成模型对计算机的内存空间产生了挑战。回归模型中的特征选择方法能够显著地降低数据维度,并且在集成学习中也已证明了其有效性。通过对集成模型进行剪枝,我们能够产生一个规模更小,精度却更高的集成模型。在本文中,我们提出使用最小最大凹度惩罚函数(MCP)对AdaBoost模型进行集成剪枝,在简化集成模型的同时改进预测精度。本文首先使用MCP惩罚的逻辑回归对高维数据进行变量筛选处理,再使用AdaBoost集成方法进行建模,并以实验说明对高维数据使用MCP进行变量筛选不仅不会损害后续AdaBoost模型的性能,反而能提高其预测精度;在建立AdaBoost集成模型后,取其基学习器的预测结果作为逻辑回归中的预测矩阵,从而使用带有MCP惩罚项的逻辑回归对集成模型进行剪枝,MCP的剪枝效果将与LASSO与SCAD惩罚函数的效果作比较。在真实数据集上进行的实验结果表明,在有噪声数据集中,使用MCP函数进行集成剪枝得到良好的效果:在本文涉及到的所有六个有噪声数据集中,使用MCP剪枝后的模型均比原模型有更高的预测精度,同时其平均集成规模大幅降低至原模型的5%至20%,其总体效果也优于使用另外两个惩罚函数剪枝的模型。通过实验,本文得出以下结论:在使用AdaBoost进行高维数据的分类预测时,使用带MCP惩罚项的逻辑回归模型能够在缩小集成规模的同时提高模型表现。

论文目录

• 摘要
• abstract
• 1 绪论
•   1.1 背景与意义
•   1.2 创新点
•   1.3 研究现状
•     1.3.1 集成学习
•     1.3.2 集成剪枝
•   1.4 本章小结
• 2 Ada Boost集成模型
•   2.1 决策树
•     2.1.1 概念与分类
•     2.1.2 划分标准
•     2.1.3 优缺点
•   2.2 Ada Boost
•     2.2.1 概念
•     2.2.2 原理
•     2.2.3 优缺点
•   2.3 本章小结
• 3 惩罚函数
•   3.1 逻辑回归
•     3.1.1 概念与形式
•     3.1.2 缺点与正则化回归
•   3.2 惩罚函数
•     3.2.1 LASSO
•     3.2.2 SCAD
•     3.2.3 MCP
•   3.3 本章小结
• 4 集成剪枝
•   4.1 概述
•   4.2 算法
•   4.3 本章小结
• 5 实证分析
•   5.1 实验步骤
•   5.2 数据描述
•   5.3 实验设置
•   5.4 实验结果与讨论
•   5.5 本章小结
• 6 结论与不足
•   6.1 结论
•   6.2 不足与展望
•   6.3 本章小结
• 参考文献
• 附录
•   Ada Boost算法伪代码
•   PICASSO算法伪代码
• 致谢

文章来源

类型: 硕士论文

作者: 郑伟华

导师: 江河

关键词: 集成剪枝,特征选择,最小最大凹度惩罚

来源: 江西财经大学

年度: 2019

分类: 基础科学,信息科技

专业: 数学,自动化技术

单位: 江西财经大学

分类号: TP181;O212.1

总页数: 58

文件大小: 2483K

下载量: 67