基于高斯过程和条件神经网络的多任务Bayesian优化研究

论文摘要

现实生活中有许多问题无法用具体数学形式表示,我们很难分析问题本身来为寻找最优解提供线索。Bayesian优化是一种适合解决此类未知黑箱模型的方法,并且能很好地优化目标函数非常昂贵(比如运行时间长、计算成本高等)的问题。目前许多优化方法是基于单个问题来进行研究的,即单任务学习和优化,但是忽略了其他相似任务的相关信息来深入研究数据特征。单任务学习单独地从零开始学习,并且经常会遇到噪声大、数据维度较高和数据量偏小等对结果影响较大的问题。多任务学习则是将相似的单任务组合在一起,可以有效地增加训练样本使模型消除干扰,并且任务之间通过共享学习信息来提高每个任务的泛化性能。本文旨在研究多任务Bayesian优化,主要工作及成果包括以下几个方面:(1)将多任务高斯过程应用于Bayesian框架中,多任务高斯过程通过学习基于输入相关特性的共享协方差函数和任务相关性协方差矩阵来同时优化多个问题,并通过协方差矩阵对任务之间的相似性进行建模来共享任务间信息,然后提升每个任务的优化性能。(2)多任务高斯过程在数据量增加的情况下其计算复杂度呈指数增长,针对这一问题本文提出了两种多任务条件神经网络模型。多任务条件神经网络并不依赖于对任务间相似性协方差矩阵进行数学建模,而是通过特殊的神经网络结构来构建任务间相似程度,我们还将多任务条件神经网络应用于Bayesian框架中。根据训练数据形式的不同,多任务条件神经网络分为单输入多输出模型和多输入多输出模型,前者利用了基于输入相关特性的信息,后者则主要利用任务之间共享信息的特点,并且在多输入多输出模型中提出了两种不同的训练机制。(3)在实验中把多个复杂的多峰函数模拟成现实生活中的昂贵优化问题,并同时将本文提出的多任务Bayesian优化算法和单任务Bayesian优化算法对这些问题进行测试。除此之外还将这些函数加上高斯噪声,再通过我们的算法模型优化测试问题以验证算法的鲁棒性。结果证明提出的多任务Bayesian优化算法在近似最优解和收敛速度上更优于单任务模型。(4)随着深度学习的不断发展,超参数优化问题的研究变得非常迫切。我们将本文提出的多任务模型应用于复杂网络的超参数优化中,通过设置不同的超参数维度测试多任务模型的有效性。实验结果表明,相比于单任务Bayesian模型,多任务Bayesian模型可以找到使网络准确率更高的超参数组合。

论文目录

• 摘要
• Abstract
• 第1章 绪论
•   1.1 研究背景以及意义
•   1.2 Bayesian优化概述及研究现状
•   1.3 多任务研究简介
•     1.3.1 多任务概述
•     1.3.2 多任务发展现状
•   1.4 高斯过程和条件神经网络过程
•   1.5 主要研究工作及结构安排
• 第2章 相关技术概述
•   2.1 Bayesian优化
•   2.2 高斯过程代理模型
•   2.3 条件神经网络过程
•     2.3.1 网络结构
•     2.3.2 数学模型
•     2.3.3 模型参数训练与预测
•   2.4 采集函数
•   2.5 本章小结
• 第3章 基于多任务高斯过程的Bayesian优化
•   3.1 引言
•   3.2 多任务高斯过程
•     3.2.1 数学模型
•     3.2.2 推导预测
•     3.2.3 参数更新
•   3.3 基于多任务高斯的Bayesian优化算法框架
•   3.4 选点策略及扩充数据集
•     3.4.1 最优采集函数选点策略
•     3.4.2 扩充观测集策略
•   3.5 实验设计
•     3.5.1 测试问题
•     3.5.2 问题参数设定
•     3.5.3 对函数优化的实验比较
•   3.6 本章小结
• 第4章 基于多任务条件神经网络过程的Bayesian优化
•   4.1 引言
•   4.2 多任务条件神经网络过程
•     4.2.1 网络结构介绍
•     4.2.2 数学模型
•     4.2.3 OMc-MTCNPs训练与预测
•     4.2.4 MMc-MTCNPs训练与预测
•   4.3 基于多任务条件神经网络过程的Bayesian优化算法步骤
•   4.4 选点策略及扩充观测集
•     4.4.1 选点策略
•     4.4.2 OMc-MTCNPs扩充数据集
•     4.4.3 MMc-MTCNPs扩充数据集
•   4.5 实验设计
•     4.5.1 实验问题
•     4.5.2 算法参数设定
•     4.5.3 实验结果比较
•   4.6 本章小结
• 第5章 超参数优化的应用
•   5.1 引言
•   5.2 超参数论述
•   5.3 超参数研究现状
•   5.4 实验设计
•     5.4.1 算法应用及测试网络
•     5.4.2 数据集及评价标准
•     5.4.3 结果对比分析
•   5.5 本章小结
• 第6章 总结与展望
•   6.1 全文内容总结
•   6.2 未来工作展望
• 参考文献
• 致谢
• 攻读硕士学位期间的研究成果

文章来源

类型: 硕士论文

作者: 陈亮

导师: 骆剑平

关键词: 优化,高斯过程,神经网络,多任务学习

来源: 深圳大学

年度: 2019

分类: 基础科学,信息科技

专业: 数学,自动化技术

单位: 深圳大学

分类号: TP183;O157.5

总页数: 74

文件大小: 4607K

下载量: 29