线性状态空间模型的若干学习问题研究

论文摘要

时序数据是通过对现实中的物理系统依照时间顺序采样而得到的有序观测序列,反映了实际物理系统所具备的统计特征。不同于一般的向量数据,对于时序数据,研究的重点在于分析数据所反映的物理系统,而非单纯的序列本身。所以,针对时序数据进行建模实际上是研究如何表述实际物理系统的数学形式,进而为数据挖掘和数据优化提供基础。线性时不变状态空间模型（Linear Time-Invariant State-Space Model）融合了生成模型和贝叶斯滤波理论,其有效性已经获得广泛的认同,并且在很多领域得到了应用,该模型为近似数据背后的物理模型提供了一种有效的工具。该模型既可以反应时序数据不同维度之间的相关性,也可以反应数据总体的变化趋势,另外,状态空间模型具备一般生成模型的特点,可以从受到噪声干扰的观测数据中利用统计推断发掘出隐含的数据生成规律,并且模型本身的数学形式也使得后续对生成规律的分析和解释更为容易。本文集中讨论了线性时不变状态空间模型中的两个关键问题:多模型辨识和参数优化,前者研究利用时序数据集来建立多个参数模型,或利用外部约束条件对单模型辨识算法进行改进,而后者则是研究如何通过优化算法或改变模型拓扑结构,达到加速模型参数学习的目的。这两个问题从其提出至今已经得到了广泛的关注,同时多模型学习优化问题也对辨识算法和参数优化提出新的挑战。本文结合最新的研究进展,从线性状态空间模型的辨识,稳定性,和隐状态维度估计等方面,进行了探讨和研究,论文的主要工作和创新点如下:·提出一种有监督的多模型辨识方法。该方法使用成对不同类别的序列进行训练,不同类别之间差异性被形式化为模型之间的“多样性”,这些信息作为先验加入到学习目标中,训练目标综合了拟合优度与模型多样性两个目标,从而使生成的模型具有可判别性,有利于在模型集合上开展分类等学习任务。区别于传统方法将模型的参数等同处理,而忽略不同参数具体的物理含义,本文所提的方法在模型比较的过程中充分考虑参数与模型行为之间联系,而且,由于该方法无需单独处理数据的类别标签,方便扩展到很多基于似然的模型训练方法中。·对线性状态空间模型的参数优化问题,改进现有的贝叶斯优化算法,使其能在有时间约束的应用环境下取得更高的效率。本文提出一种方向性约束项,为优化算法提供局部“类梯度”信息,该方法有助于改善优化器局部搜索时的随机扰动。在存在时间约束的情况下,本文所提的算法能够在不同阶段,平衡全局搜索与局部搜索,从而在给定的时间窗口内取得整体优势。本文进行的数值模拟实验验证了算法的正确性,并在状态空间模型的参数推断实验证实了算法相对其他参数优化算法的优势。·使用随机连接的非线性“储备池”替代需要训练的隐状态。解决状态空间模型训练算法复杂度高的问题。本研究使用多个模型来表示数据,通过在储备池中使用具有“记忆”能力的计算节点,利用输入对储备池中的节点进行激发,最后用一个可调节参数的线性操作读取储备池中计算节点的状态信息,还原输入数据。模型结构需要训练的部分集中在一个线性的读出层,因此,该模型拓扑结构具有计算复杂度低,不存在局部极值等优势。另外,本文对模型之间的度量做了初步的探讨,并通过实验验证所提度量方法在不同任务上的有效性。·探讨线性时不变状态空间模型的复杂度。基于信息传输理论,针对含有隐状态的模型类,以“描述长度”为基准建立模型复杂度估计方法,定义对于特定数据集的模型“适合度”。基于所得到的分析结果,提出一种模型阶数消减算法,该算法可以将模型选择与模型辨识问题统一起来,减少模型不必要的隐状态维度,从而降低过拟合发生的概率。在不同合成数据集上的实验结果验证了本文所提的算法在模型选择上的良好表现。

论文目录

• 摘要
• abstract
• 符号说明
• 第1章 绪论
•   1.1 课题研究背景和意义
•   1.2 国内外研究现状
•     1.2.1 迭代优化方法
•     1.2.2 子空间方法
•     1.2.3 辨识方法扩展
•   1.3 论文的主要内容简介
•   1.4 本章小结
• 第2章 多模型情况下的多样性研究
•   2.1 课题研究背景和意义
•   2.2 行列式点过程
•   2.3 多样性先验
•     2.3.1 状态空间模型的模型表示
•     2.3.2 多样性正则项
•     2.3.3 优化方法
•   2.4 实验验证
•     2.4.1 实验设置
•     2.4.2 人工数据集
•     2.4.3 基准数据集
•   2.5 本章小结
• 第3章 基于贝叶斯优化的参数推断
•   3.1 课题研究背景和意义
•   3.2 贝叶斯优化
•     3.2.1 高斯过程
•     3.2.2 期望改善方法
•   3.3 方向性约束
•   3.4 实验验证
•     3.4.1 评价标准
•     3.4.2 数值模拟
•     3.4.3 基准数据集
•   3.5 本章小结
• 第4章 流体状态机在时序数据分类上的应用
•   4.1 课题研究背景和意义
•   4.2 模型表述
•     4.2.1 多模型下的距离度量方法
•     4.2.2 模型扩展
•   4.3 实验验证
•     4.3.1 合成数据处理
•     4.3.2 基准数据测试
•   4.4 本章小结
• 第5章 模型复杂度估计
•   5.1 课题研究背景和意义
•   5.2 最小编码描述长度
•   5.3 模型复杂度判别标准
•   5.4 实验模拟
•     5.4.1 序列预测
•     5.4.2 真实数据集
•     5.4.3 模型阶数消减
•     5.4.4 非线性数据集
•   5.5 本章小结
• 第6章 结论与展望
•   6.1 全文工作总结
•   6.2 未来工作展望
• 参考文献
• 附录A 行列式点过程计算补充
•   A.1 归一化系数
•   A.2 方程求解方法
• 附录B 后验分布的更新
• 附录C 线性状态空间模型的复杂度估计
• 致谢
• 在读期间发表的学术论文与取得的研究成果

文章来源

类型: 博士论文

作者: 李阳

导师: 陈欢欢

关键词: 线性状态空间模型,模型空间学习,模型辨识,参数优化,模型复杂度

来源: 中国科学技术大学

年度: 2019

分类: 基础科学

专业: 数学

单位: 中国科学技术大学

分类号: O212

总页数: 123

文件大小: 8698K

下载量: 183