基于循环神经网络的时间序列预测方法研究

论文摘要

时间序列作为一种常见的数据组织形式,在工业、市场、社会、环境、教育等各行各业都有着极为广泛的应用。通过对时间序列数据的分析和挖掘,可以建立起相应的预测模型,以此来预测未来数据的走向。通过时间序列预测,可以为用户提供前瞻性的意见和指导性的策略,以应对未来可能发生的变化;同时也可以发现蕴含在这些时间序列数据之中的潜在规律,从而可以更好地认识和理解各种科学理论和社会现象。然而,由于时间序列数据本身的特殊性以及当前环境下时间序列数据呈现出的新特点,时间序列预测任务仍面临着诸多挑战。一方面,时间序列数据有别于一般的数据形式,其自身的特殊性带来了两方面的问题。首先,时间序列是一种时序性数据,其内部各个数据点之间具有很强的相关性,进行预测时理应充分考虑到这种相关性;此外,时间序列长短不一,且受马尔科夫性质的约束,因此一般的预测方法都需要选取一个固定大小的滑动窗口截取序列进行建模,而如何选择一个合适的窗口尺度是时间序列预测问题中独有的技术难点。另一方面,有别于传统的时间序列分析,当前时间序列数据呈现出诸多新特性,也随之带来了新的挑战。首先,随着技术的不断进步,每时每刻都有数以百万计的时间序列数据产生,面对海量的数据,预测的效率问题变得尤为关键;第二,这些序列数据多以小时、半小时、分钟甚至秒为单位采样得到,如此高采样频率下的时间序列会引入大量干扰噪声,不利于分析建模;最后,时间序列是一种流式数据而非静态数据,其数据分布会随着时间不断变化,模型如何适应这种漂变也是一个重要问题。为了解决上述时间序列预测任务中存在的数据相关性、窗口尺度问题、数据量大、采样频率高、易漂变五大困难,本文基于循环神经网络模型,提出了两种时间序列预测方法,并成功地应用到了实际的生产环境中,其主要内容如下:1.本文提出了一种基于Multi-Lag集成与时间序列分解的GRU神经网络预测方法。该方法采用了GRU神经网络作为时间序列预测的基础模型,GRU网络专门用来对序列建模,从而解决时间序列中数据相关性的问题。另外,本文提出了Multi-Lag集成学习策略,充分利用了GRU网络可以处理变长度序列的优势,有效地缓解了窗口尺度难以确定以及会随着时间漂变的问题。最后,该方法引入滤波式时间序列分解法,可以将原始时间序列中的高频噪声部分分离,以应对高采样频率带来的问题。2.在第一个工作的基础上,为提高模型的训练和预测效率,同时更加充分地考虑时间序列数据之间的相关性,本文提出了一种专门用于时间序列预测的RNN模型,称之为时间步残差循环神经网络,简称为TSR-RNN。此模型在不同时间步的隐藏状态之间引入残差连接,可以有效减缓训练网络时梯度消失的现象,同时可以很好地捕获时间步之间的增减模式信息,使得模型具备更好的可解释性。与LSTM和GRU等常见的RNN变体网络相比,TSR-RNN在没有引入多余参数的前提下,训练和预测都更加高效,但预测精度却仍然与前两者相近。3.基于上述两种预测方法,本文实现了两个应用案例。一个是在大规模云平台硬件资源预测任务中应用本文的预测方法,另一个则是以本文预测方法为基础搭建而成的一整套全流程的库存管理预测平台。相关的实验表明,本文提出的两种方法可以很有效地解决上述的五大困难,相较于常见的时间序列预测模型,其预测误差得到了大幅降低。在相关应用实践中,本文的预测方法也表现出了较高的预测精度和很强的鲁棒性,充分证明了其实用价值。

论文目录

• 摘要
• abstract
• 第一章 绪论
•   1.1 研究背景及意义
•     1.1.1 研究背景
•     1.1.2 应用方向
•     1.1.3 困难与挑战
•   1.2 研究现状
•     1.2.1 时间序列预测
•     1.2.2 常见方法
•   1.3 研究内容
•   1.4 论文纲要
• 第二章 相关工作
•   2.1 时间序列预测问题的分类
•   2.2 统计学方法
•     2.2.1 时间序列的统计特性
•     2.2.2 ARIMA模型
•     2.2.3 指数平滑模型
•     2.2.4 总结
•   2.3 机器学习方法
•     2.3.1 机器学习方法的应用
•     2.3.2 总结
•   2.4 神经网络方法
•     2.4.1 传统神经网络的应用
•     2.4.2 深度学习的应用
•     2.4.3 总结
•   2.5 时间序列分解
•     2.5.1 X-11分解法
•     2.5.2 STL分解法
•     2.5.3 EMD分解法
•   2.6 本章小结
• 第三章 基于Multi-Lag集成与时间序列分解的GRU神经网络
•   3.1 时间滞后因子
•   3.2 高采样频率
•   3.3 基于Multi-Lag集成与时间序列分解的GRU神经网络预测模型
•     3.3.1 滤波式时间序列分解
•     3.3.2 GRU神经网络
•     3.3.3 Multi-Lag集成学习策略
•   3.4 实验及分析
•     3.4.1 实验设计
•     3.4.2 Lag Window对预测结果的影响探究
•     3.4.3 GRU网络有效性验证
•     3.4.4 Multi-Lag集成学习策略有效性验证
•     3.4.5 滤波式分解有效性验证
•     3.4.6 综合对比实验
•   3.5 本章小结
• 第四章 时间步残差循环神经网络
•   4.1 GRU与LSTM的局限性
•   4.2 TSR-RNN神经网络
•     4.2.1 模型介绍
•     4.2.2 残差连接分析
•     4.2.3 TSR-RNN结合时间序列分解
•   4.3 实验及分析
•     4.3.1 实验设计
•     4.3.2 TSR-RNN有效性实验
•     4.3.3 TSR-RNN网络效率实验
•     4.3.4 TSR-RNN与时间序列分解结合实验
•   4.4 本章小结
• 第五章 应用:云平台硬件资源预测与库存管理预测系统
•   5.1 云平台硬件资源预测
•     5.1.1 云平台资源预测相关背景
•     5.1.2 硬件资源预测案例
•   5.2 库存管理预测系统
•     5.2.1 系统背景
•     5.2.2 系统架构与实现
•     5.2.3 预测模块
•     5.2.4 系统应用反馈
•   5.3 本章小结
• 第六章 总结与展望
• 参考文献
• 简历与科研成果
• 致谢

文章来源

类型: 硕士论文

作者: 张旭

导师: 申富饶

关键词: 循环神经网络,时间序列预测,深度学习

来源: 南京大学

年度: 2019

分类: 基础科学,信息科技

专业: 数学,自动化技术

单位: 南京大学

分类号: TP183;O211.61

总页数: 92

文件大小: 5629K

下载量: 985