异构数据源论文_邓林

导读:本文包含了异构数据源论文开题报告文献综述、选题提纲参考文献及外文文献翻译,主要关键词:数据源,异构,数据,油田,在线,系统,分布式。

异构数据源论文文献综述

邓林[1](2019)在《大数据系统中异构数据源集成方案探析》一文中研究指出大数据的重要性越来越明显,各行各业也加大了对大数据的研究与投入。但鉴于历史原因,各单位的历史或获取的数据均是以不同的方式存储,那要构建大数据系统,如何去完成第一步工作,将各种异构数据源集成在一起。本文以某行业的大型系统为背景,先就异构数据源的集成方案进行初步探析。(本文来源于《数码世界》期刊2019年04期)

宋雪莹[2](2019)在《基于异构数据源的电力大数据处理方法》一文中研究指出随着智能电网建设的不断深入,电力系统中数据的规模和类型正在快速增长,且数据的复杂度也随之快速增大,呈现出典型的大数据特征。将大数据处理方法引入电力系统应用领域,可以关注到电力大数据中潜在的信息,进一步挖掘其价值,为电网调度决策提供参考。数据监控及采集系统(SCADA)和基于相量测量单元(PMU)的广域测量系统是在电力系统得到广泛应用的两套代表性量测系统。与SCADA数据相比,WAMS数据精度和刷新频率的性能更为优良。它们共同构成了电力系统的海量量测数据资源。论文基于电力大数据中数据处理需求,针对SCADA系统和WAMS系统展开研究。将以关联规则为代表的数据挖掘方法和机器学习算法应用于电力系统,旨在满足电力大数据中的不良数据辨识需求和异构数据融合需求,提高数据质量,保证数据完整性,充分挖掘数据价值,为电网决策提供最有力的辅助。论文提出一种基于异构数据关联规则挖掘的不良数据辨识方法。考虑样本的周期属性,以高精度快刷新的WAMS数据离散SCADA数据,挖掘其采样时刻、有功功率、无功功率和电流之间的周期性关联规则,通过规则匹配构建疑似不良数据集合,利用局部残差搜索法验证不良数据集合,并通过人为设置不良数据与残差搜索法对比验证方法的可行性,通过不良数据的规模与辨识次数的比较验证方法的优越性。同时,提出一种基于机器学习的SCADA数据和WAMS数据融合方法。分析SCADA数据与WAMS数据融合过程中的障碍并探讨解决方案。针对融合过程中的SCADA数据缺失问题展开重点研究,将机器学习引入到缺失数据填补领域,构建自编码神经网络,将自编码器堆迭之后逐层进行无监督的网络训练与参数寻优,以提取SCADA数据的变化特征,最后连接到顶层LR模型实现对缺失值的预测填补,从而克服两个系统中融合时的时间断面不一致障碍,实现有效融合,最终利用实际的SCADA值并与其它算法对比验证方法的可行性。(本文来源于《华北电力大学(北京)》期刊2019-03-01)

牛文彬,杨林[3](2019)在《探究油田数字化的异构数据源整合与集成技术》一文中研究指出很少这么提,再考虑,在油田数字化的过程中,很多技术的应用都要保持谨慎的态度,最大限度地针对固有缺失和不足来有效的解决。从目前所掌握的技术来看,异构数据源整合与集成技术是比较有代表性的内容,而且能够促使油田数字化,不断的朝着取得更高的成绩来前进。论文针对油田数字化的异构数据源整合与集成技术展开讨论,并提出合理化建议。(本文来源于《信息系统工程》期刊2019年02期)

解肖华,张彬,赵刚[4](2018)在《油田数字化的异构数据源整合与集成技术分析》一文中研究指出油田数字化是20世纪90年代提出的一种针对未来信息化、数字化的一种新型油库模式,能有效满足油料要求,提升油田开发系统的应用效率。本文将围绕如何应用DSB技术,对异构数据源整合与集成技术进行探究,分析油田数字化的库与库数据访问交换的实时问题,并针对互访过程中出现的系统异常给出解决方案。(本文来源于《中国管理信息化》期刊2018年14期)

路晓亚[5](2018)在《基于在线考试系统的异构数据源集成技术研究》一文中研究指出本文首先介绍了高校中在线考试系统的发展现状以及存在的问题,并介绍了异构数据集成的相关技术,重点介绍了基于XML的中间件技术。针对高校中存在的异构在线考试系统设计了中间件,使用UML技术为在线考试系统建立了公共模型,并实现了异构数据源和XML数据的相互转换,完成了查询处理器和结果处理器的分析设计。(本文来源于《福建电脑》期刊2018年06期)

秦燕,周湘贞[6](2018)在《实例分析基于异构数据源的XML数据转换方法》一文中研究指出在"互联网+"时代,我国校园信息化建设速度也在不断加速,异构数据库集成技术在校园内的应用价值也得到认同.针对"互联网+"时代,在设计建设教学资源数据库中,如何将数据库内的异构数据源数据进行转化,不仅关系到异构数据是否能够在数据库内得到融合共享,也关系到教学资源库是否满足实际应用需求.在"互联网+"时代,基于可扩展标记语言(Extensible Markup Language,XML)数据转换设计实例,研究其异构数据源的数据转换方法,分析异构数据源的数据转换过程,确保能够将教学资源库中的异构数据源数据进行转换,实现基于异构数据源的XML数据转换方法.(本文来源于《西南师范大学学报(自然科学版)》期刊2018年03期)

王昭[7](2018)在《分布式异构数据源同步框架的研究与实现》一文中研究指出随着互联网技术的发展、智能终端设备的普及,网络上产生的数据在不断的激增。计算机存储技术伴随着数据时代的到来也在迅猛的发展,硬件方面,数据存储介质在继续改进和出新;软件方面,基于各种设计思想、架构方案的存储系统在陆续的出现。在这样一个数据驱动的时代,数据的价值也在不断的突显。然而在实际发展过程中,我们对数据的需求和应用并不是一成不变的,数据产品在设计初期的架构也不一定是绝对完美的。例如,产品底层数据架构是用于存储用户交互的数据,但是随着数据的增加和业务的发展,这些数据将会用于某些业务场景下的决策分析或可视化展示,此时,原有产品的底层数据架构,就不足以完全支持新有的业务,因此,可能需要引入新的存储系统来进行改善。在这种场景下,异构数据源之间的数据同步和迁移的需求就逐渐的显现出来。目前,现有的一些工具大多数只为完成与某种固定的数据存储系统进行数据同步和迁移而存在,在多种异构数据源的支持上并不是很完善;其他一些针对异构数据源之间进行数据同步的工具并不支持分布式运行,导致在海量数据同步的场景下存在单机性能瓶颈的问题。本文从数据同步需求入手,对各种应用场景进行深入研究和分析,提出了一种针对各种异构数据源之间进行数据同步的技术解决方案,该方案汲取了现有的一些数据同步工具的优秀设计思想,通过采用分布式、服务化等方式,使得在解决单机性能瓶颈、实时数据同步以及定时同步等业务场景的时候能有更好的支持。针对提出的技术解决方案,本文实现了基于它的数据同步框架。在使用方式上,该框架以一个中心化服务来运行,服务由多个服务器节点构成的集群来提供。整个服务框架一旦开启,就会一直运行,等待具体同步任务的上传。使用者通过框架提供的SDK来对具体的同步任务进行Job开发,而后将Job提交至服务集群,集群在接受到Job后,经解析、验证等复杂预处理操作以后便会进行相关数据源之间的数据同步工作。最后,本文对所实现的框架在不同数据集上进行了性能测试,并将测试过程中所收集的各方面数据进行了汇总和梳理。通过对这些实验数据的分析,同时结合框架的工作原理,本文对在测试过程中发现的问题进行了解释和说明,同时为后续框架的继续优化指明了方向。(本文来源于《天津理工大学》期刊2018-02-01)

李志敏,梁柏超,贺文锋,陈俊健[8](2017)在《基于异构数据源的政法信息共享平台数据预处理系统研究》一文中研究指出针对分散在公安、检察院、法院、司法部门的没有信息共享平台的现状,提出了一个基于异构数据源的政法网平台数据预处理系统。设计采用了在不改变政法系统架构的基础上搭建政法信息共享平台,以达到信息互通、资源共享。系统应用的实验结果表明:基于规则库的多级数据预处理算法通过连续的样本训练建立越来越完善的规则库,不断提高后续数据抽取质量,并通过上述多级规则库匹配预处理策略,将其分步嵌入到数据应用系统中,除非常少的个别错误数据要单独汇总处理外,脏数据输出较少,预处理速度也比较适中;基于规则库的数据预处理算法达到了政法信息共享平台的建设目标,使政法业务信息在各职能部门能相互共享,且为领导决策提供及时可靠的依据。(本文来源于《电子设计工程》期刊2017年19期)

王博,陈凌晖[9](2017)在《基于海量异构数据源的数据分析处理平台设计与实现》一文中研究指出随着信息化时代的飞速发展,大数据浪潮已成不可阻挡之势,这就需要将门类庞杂、种类繁多的数据进行整合,全面深入挖掘信息之间的关联关系。文章首先分析了各类异构数据源分析处理带来的困难和产生的原因,其次依据数据分析处理要求,详细阐述了海量异构数据源分析处理平台的设计和实现。(本文来源于《数字通信世界》期刊2017年08期)

周健[10](2017)在《面向异构数据源和多样化应用的企业计量信息系统》一文中研究指出针对制造企业信息化过程中多样异构计量数据源和分层多样计量信息服务的需求,对系统的架构、数据处理模型和数据存储模型叁个计量信息系统的基础内容进行了总结与研究,提出了面向异构数据源和多样化应用的企业计量信息系统,并且在企业计量信息系统的扩充改造实践中取得了预期效果。(本文来源于《冶金自动化》期刊2017年04期)

异构数据源论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

随着智能电网建设的不断深入,电力系统中数据的规模和类型正在快速增长,且数据的复杂度也随之快速增大,呈现出典型的大数据特征。将大数据处理方法引入电力系统应用领域,可以关注到电力大数据中潜在的信息,进一步挖掘其价值,为电网调度决策提供参考。数据监控及采集系统(SCADA)和基于相量测量单元(PMU)的广域测量系统是在电力系统得到广泛应用的两套代表性量测系统。与SCADA数据相比,WAMS数据精度和刷新频率的性能更为优良。它们共同构成了电力系统的海量量测数据资源。论文基于电力大数据中数据处理需求,针对SCADA系统和WAMS系统展开研究。将以关联规则为代表的数据挖掘方法和机器学习算法应用于电力系统,旨在满足电力大数据中的不良数据辨识需求和异构数据融合需求,提高数据质量,保证数据完整性,充分挖掘数据价值,为电网决策提供最有力的辅助。论文提出一种基于异构数据关联规则挖掘的不良数据辨识方法。考虑样本的周期属性,以高精度快刷新的WAMS数据离散SCADA数据,挖掘其采样时刻、有功功率、无功功率和电流之间的周期性关联规则,通过规则匹配构建疑似不良数据集合,利用局部残差搜索法验证不良数据集合,并通过人为设置不良数据与残差搜索法对比验证方法的可行性,通过不良数据的规模与辨识次数的比较验证方法的优越性。同时,提出一种基于机器学习的SCADA数据和WAMS数据融合方法。分析SCADA数据与WAMS数据融合过程中的障碍并探讨解决方案。针对融合过程中的SCADA数据缺失问题展开重点研究,将机器学习引入到缺失数据填补领域,构建自编码神经网络,将自编码器堆迭之后逐层进行无监督的网络训练与参数寻优,以提取SCADA数据的变化特征,最后连接到顶层LR模型实现对缺失值的预测填补,从而克服两个系统中融合时的时间断面不一致障碍,实现有效融合,最终利用实际的SCADA值并与其它算法对比验证方法的可行性。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

异构数据源论文参考文献

[1].邓林.大数据系统中异构数据源集成方案探析[J].数码世界.2019

[2].宋雪莹.基于异构数据源的电力大数据处理方法[D].华北电力大学(北京).2019

[3].牛文彬,杨林.探究油田数字化的异构数据源整合与集成技术[J].信息系统工程.2019

[4].解肖华,张彬,赵刚.油田数字化的异构数据源整合与集成技术分析[J].中国管理信息化.2018

[5].路晓亚.基于在线考试系统的异构数据源集成技术研究[J].福建电脑.2018

[6].秦燕,周湘贞.实例分析基于异构数据源的XML数据转换方法[J].西南师范大学学报(自然科学版).2018

[7].王昭.分布式异构数据源同步框架的研究与实现[D].天津理工大学.2018

[8].李志敏,梁柏超,贺文锋,陈俊健.基于异构数据源的政法信息共享平台数据预处理系统研究[J].电子设计工程.2017

[9].王博,陈凌晖.基于海量异构数据源的数据分析处理平台设计与实现[J].数字通信世界.2017

[10].周健.面向异构数据源和多样化应用的企业计量信息系统[J].冶金自动化.2017

论文知识图

地质灾害集成系统部件结构与页面显示...面向Web Service异构数据源统一...基于SOA的异构数据源统一检索系...基于SOA的异构数据源网格环境中访问异构数据源的模...异构数据源同最后,介绍一下同...

标签:;  ;  ;  ;  ;  ;  ;  

异构数据源论文_邓林
下载Doc文档

猜你喜欢