加权样本分类算法设计和基于加法逻辑回归模型的Boosting算法设计

论文摘要

Bagging方法是一种完全基于减少方差而设计的集成机制,尽管该方法在分类问题中表现优秀,但其在减少模型偏差方面存在明显不足。此后,越来越多的统计学家开始尝试能够同时减少偏差和方差的集成机制,进而诞生了诸如DiscreteAdaBoost、Rea.lAdaBoost等众多Boosting算法。这些Boosting算法由于其优秀的表现而受到了统计学家的广泛关注,很多统计学家开始尝试解释Boosting算法成功的统计学原理。Friedman等人尝试利用加法逻辑回归模型,解释了Boosting算法成功的根源之后,越来愈多的Boosting算法被提出。Boosting算法针对加权样本进行训练,具体地,首先训练能够对加权样本进行拟合的“弱学习器”,然后通过一定的机制,将这些弱学习器集成为一个综合学习器。针对分类问题,本文对Cart决策树的决策机制进行了改进,提出了一种逻辑树模型;另一方面基于集成学习思想,本文提出了两种新的Boosting算法。本文首先探讨了针对加权样本的现有弱学习器的算法原理,并提出一种基于分位逻辑回归思想的逻辑树模型。该模型针对加权样本分类问题能够更好地利用样本权重信息。然后,本文对现有的Boosting算法进行分析,提出一种更加平缓的损失函数,并基于此提出两种新的Boosting算法。新的Boosting算法能够较好地避免过拟合问题,并且由于对错误样本权重分配力度呈线性增长,与指数损失相比,该模型具有较好的稳健性。模拟数据和实际数据均表明,本文提出的逻辑树模型能够更好地适应协变量个数为10-50的分类问题;本文提出的Boosting算法,在实际数据中的表现上比现有Boosting算法表现得更为出色。进一步,本文基于AdaBoost.MH思想将两种Boosting算法推广到多分类问题。

论文目录

• 摘要
• Abstract
• 第一章 引言
•   1.1 背景
•     1.1.1 Boosting算法的发展历史
•     1.1.2 几个具体的加法模型
•   1.2 研究目标
•   1.3 本文的贡献与创新点
•   1.4 结构说明
• 第二章 理论基础
•   2.1 弱学习器
•     2.1.1 加权逻辑回归模型
•     2.1.2 加权Cart决策树
•     2.1.3 Cart回归树
•   2.2 Gradient Boosting算法框架
•     2.2.1 Gradient Boosting全期望形式
•     2.2.2 有限数据集的情况
•   2.3 AdaBoost.MH:多分类问题和思想介绍
•     2.3.1 多分类问题介绍
•     2.3.2 AdaBoost.MH
• 第三章 Cart算法改进设计
•   3.1 分支策略设计
•     3.1.1 回归树最小化方差准则失效举例
•     3.1.2 正态信息增益准则
•     3.1.3 基于目标模型分位点选择准则
•   3.2 决策方案设计
•     3.2.1 Cart决策树介绍
•     3.2.2 逻辑树决策设计
•     3.2.3 逻辑树算法程序
• 第四章 加法模型导出的Boosting算法设计
•   4.1 加法逻辑回归模型
•     4.1.1 损失函数的定义
•     4.1.2 选择S损失的理由
•   4.2 S-DiscreteAdaBoost算法
•     4.2.1 算法推导
•     4.2.2 算法程序和讨论
•   4.3 S-RealAdaBoost算法
•     4.3.1 算法推导
•     4.3.2 算法程序
•   4.4 多分类问题推广
• 第五章 实验数据分析
•   5.1 实验数据来源说明
•     5.1.1 模拟数据实验设计
•     5.1.2 真实数据说明
•   5.2 弱分类器实验结果对比分析
•   5.3 Boosting算法结果分析
•     5.3.1 训练误差和测试误差变化规律
•     5.3.2 分类准确率对比测试
•     5.3.3 在受污染数据集上的表现
• 第六章 总结
• 参考文献
• 致谢

文章来源

类型: 硕士论文

作者: 王超

导师: 李波

关键词: 加权样本,算法,逻辑树,加法逻辑回归,集成学习

来源: 华中师范大学

年度: 2019

分类: 基础科学,信息科技

专业: 数学,自动化技术

单位: 华中师范大学

分类号: O212.1;TP181

总页数: 65

文件大小: 2861K

下载量: 116