首页> 正文

基于局部张量填充的网络测量数据恢复

2020-12-02阅读(469)

基于局部张量填充的网络测量数据恢复

论文摘要

随着计算机网络技术的快速发展,每时每刻都会产生海量数据,各种工程应用中,需要使用这些数据来实现一些科学研究和商业应用。由于采集全部数据的代价太大或数据在传输的过程中发生丢失等原因,得到的数据往往是缺失的,但这些数据仍然具有很大的研究和分析价值。在异常检测、网络性能分析、计算机视觉、社交网络分析等工程中,通过部分监测的网络数据来推断出全部数据的任务越来越重要。目前,相关领域研究表明,张量填充是一种利用多维数据结构对缺失数据进行更准确推断的有效方法。然而,现有的张量填充算法一般都假设张量数据具有全局低秩的性质,并试图寻找一个整体模型来填充整个张量的数据,忽略了数据间的局部相关性,导致恢复的数据精度太低。在实际的网络流量数据中,局部数据间存在较强的相关性,利用这一性质可以提高数据恢复的精度。本文中,提出局部子张量填充算法(Local Tensor Completion,简称LTC),利用子张量的低秩性实现更加精准的数据恢复。虽然这一技术很有前景,仍然面临两个挑战,一方面,如何从张量数据中提取出具有较强相关性的数据,构建局部低秩子张量;另一方面,如何利用融合填充后的子张量数据对原始张量进行恢复。针对这两个挑战,提出了以下相关解决技术:(1)针对LTC算法中,如何提取局部低秩子张量的问题,提出基于局部敏感哈希(Locality Sensitive Hashing,简称LSH)的候选锚点快速选择算法,利用局部数据间较强的相关性,以锚点为中心构建若干个低秩的子张量,然后对局部子张量进行填充,恢复子张量缺失数据。实验证明,基于LSH的候选锚点选择算法比随机选择锚点算法的收敛速度更快,效果更好。(2)针对如何在稀疏的张量数据中找出相似数据的问题,在LTC算法中提出了一种基于切片编码的新策略并给出了相似距离的定义,利用平行因子分解的方法,实现对稀疏张量数据的编码,克服计算距离困难的挑战。(3)针对LTC算法中,如何利用填充后子张量数据来填充原始张量的问题,给出相似敏感数据融合的算法,对子张量数据进行加权融合,恢复出原始张量;同时,给出基于采样密度和距离的锚点选择算法来进一步提高局部低秩张量填充的精度,并且降低LTC算法的计算复杂度。实验结果表明,LTC算法模型与其他低秩的假设下张量填充算法,例如CP nmu,CP opt,CP als,相比有效的提高数据恢复的精度。

论文目录

  • 摘要
  • Abstract
  • 第1章 绪论
  •   1.1 研究背景和研究意义
  •   1.2 国内外研究现状
  •     1.2.1 国外研究现状
  •     1.2.2 国内研究现状
  •   1.3 本文研究内容
  •   1.4 本文的组织结构
  • 第2章 基础知识及相关技术概述
  •   2.1 张量基础知识
  •     2.1.1 张量的基本符号与表示
  •     2.1.2 张量运算的相关定义
  •   2.2 张量分解算法
  •     2.2.1 基于Kiers水平展开的CP分解
  •     2.2.2 基于Kolda水平展开的CP分解
  •     2.2.3 Tucker分解
  •   2.3 张量填充算法概述
  •   2.4 局部敏感哈希概述
  •     2.4.1 局部敏感哈希的思想原理
  •     2.4.2 局部敏感哈希的定义
  •     2.4.3 局部敏感哈希的应用
  •   2.5 本章小结
  • 第3章 局部子张量提取算法
  •   3.1 引言
  •   3.2 问题描述与挑战
  •     3.2.1 问题描述
  •     3.2.2 存在的挑战
  •   3.3 解决方案概述
  •     3.3.1 一般的张量填充模型概述
  •     3.3.2 局部子张量填充算法模型概述
  •   3.4 锚点选择
  •     3.4.1 基于LSH的候选锚点快速选择
  •     3.4.2 距离计算的挑战
  •     3.4.3 基于切片编码的新策略
  •     3.4.4 基于LSH对每个维度重新排序
  •     3.4.5 哈希桶的中心具有良好的性质
  •   3.5 子张量的提取和恢复
  •     3.5.1 相似距离的定义
  •     3.5.2 局部子张量填充模型
  •   3.6 本章小结
  • 第4章 数据融合
  •   4.1 问题分析
  •   4.2 问题的描述和挑战
  •   4.3 距离和密度感知的锚点选择算法
  •   4.4 相似敏感数据融合
  •   4.5 算法设计
  •   4.6 算法复杂度分析
  •   4.7 本章小结
  • 第5章 仿真实验和分析
  •   5.1 实验配置环境
  •   5.2 结果评价指标
  •   5.3 局部张量低秩性验证
  •   5.4 参数训练
  •     5.4.1 相似距离阈值参数h的训练
  •     5.4.2 距离密度平衡系数?的训练
  •     5.4.3 锚点数目参数q的训练
  •   5.5 锚点选择算法时间复杂度
  •   5.6 局部张量填充（LTC）算法的有效性
  •   5.7 本章小结
  • 结论
  • 参考文献
  • 附录A 攻读学位期间发表的学术论文
  • 附录B 攻读学位期间参与的科研项目
  • 致谢

    • 文章来源

    类型: 硕士论文

    作者: 王香阁

    导师: 谢鲲

    关键词: 张量填充,局部敏感哈希,数据融合,局部低秩张量

    来源: 湖南大学

    年度: 2019

    分类: 基础科学,信息科技

    专业: 数学,互联网技术

    单位: 湖南大学

    分类号: TP393.0;O183.2

    DOI: 10.27135/d.cnki.ghudu.2019.000011

    总页数: 75

    文件大小: 2318K

    下载量: 26

    相关论文文献

    • [1].一种基于云应用的数据恢复方法和系统[J]. 中国科技信息 2018(23)
    • [2].浅析Windows Server 2016四种数据恢复方案[J]. 网络安全和信息化 2019(01)
    • [3].业务过程协同中数据恢复策略建模及分析[J]. 计算机应用研究 2016(02)
    • [4].涉密数据恢复过程中的失泄密隐患分析及对策研究[J]. 保密科学技术 2016(01)
    • [5].浅论电子存储数据恢复的方法与实践[J]. 电子制作 2015(02)
    • [6].企业数据库备份和灾难性数据恢复方法探究[J]. 硅谷 2015(02)
    • [7].速成数据恢复工程师(1) 数据恢复基础[J]. 电脑爱好者 2009(13)
    • [8].速成数据恢复工程师(4) 找回分区被格式化的数据[J]. 电脑爱好者 2009(16)
    • [9].失而复得靠良将 四大数据恢复软件评测[J]. 电脑爱好者 2013(09)
    • [10].数据恢复背后的秘密[J]. 电脑爱好者 2013(11)
    • [11].基于FAT32分区格式的U盘文件乱码的手工恢复研究[J]. 数码世界 2017(05)
    • [12].环环相扣 步步为营[J]. 河南教育(职成教版) 2017(Z1)
    • [13].常用数据恢复工具软件探析[J]. 现代信息科技 2020(17)
    • [14].面向便携式存储设备的六大数据恢复工具[J]. 微电脑世界 2012(04)
    • [15].征管稽查中电子数据恢复的策略与技巧[J]. 科技情报开发与经济 2011(05)
    • [16].计算机系统中的数据恢复[J]. 电子测试 2009(05)
    • [17].寻找回来的世界四大数据恢复软件大比拼[J]. 计算机与网络 2009(Z1)
    • [18].数据恢复4条军规[J]. 计算机与网络 2009(Z1)
    • [19].基于日志文件的数据恢复[J]. 科技视界 2017(31)
    • [20].手工重建文件系统数据链数据恢复方法研究[J]. 保密科学技术 2016(01)
    • [21].“数据恢复省级重点实验室”建设通过专家评审[J]. 内江科技 2014(12)
    • [22].浅谈电子数据恢复[J]. 河北企业 2015(03)
    • [23].电力企业数据恢复中心的建设[J]. 浙江电力 2014(09)
    • [24].基于连续数据保护的多策略数据恢复机制[J]. 计算机工程 2010(12)
    • [25].怎么恢复已经删除的照片[J]. 中国摄影家 2008(07)
    • [26].船舶网络入侵信号取证过程破损数据恢复研究[J]. 舰船科学技术 2019(04)
    • [27].《系统与数据恢复》课程中破坏性开盘实验教学实践[J]. 实验科学与技术 2013(06)
    • [28].电脑硬盘误操作后的数据恢复[J]. 新课程学习(学术教育) 2009(04)
    • [29].浅论电子存储数据恢复的方法与实践[J]. 计算机光盘软件与应用 2012(08)
    • [30].船舶通信网络恶意入侵下破损数据恢复方法分析[J]. 舰船科学技术 2018(20)

    标签：;  ;  ;  ;  

    基于局部张量填充的网络测量数据恢复
    下载Doc文档

    猜你喜欢

    © 2024 神降笔 版权所有 鄂ICP备12018319号-6