导读:本文包含了分布式数据管理论文开题报告文献综述、选题提纲参考文献，主要关键词:数据,分布式,数据管理,负载均衡,线图,商数,关联性。
分布式数据管理论文文献综述写法
吴超,郁建兴[1]（2020）在《面向公共管理的数据所有权保护、定价和分布式应用机制探讨》一文中研究指出为进一步利用人工智能技术来提供智能公共服务,首先应解决人工智能生态系统的几个重要问题,其中核心问题便是数据所有权保护和定价,这些问题很难从法律与制度层面快速界定,也难以通过当前集中式建模范式解决。为了解决前述问题,文章分析了在公共管理环境下应用人工智能技术进行数据保护和用户激励的关键要求,提出了一种新的去中心化建模方法,称为"分布式机器学习":模型以分布式的方式进行训练,训练完成后进行模型聚合,数据定价可以根据每个模型的贡献来确定,数据所有权保护则是通过交换数据使用权进行。(本文来源于《电子政务》期刊2020年01期）
顾鼎[2]（2019）在《基于叁级等级保护要求加强市级预防接种分布式数据管理中心安全建设》一文中研究指出提升预防接种信息化服务管理系统安全保护等级是贯彻落实国家卫生健康委及省委省政府、省卫生健康委、市委市政府等指示精神,全面强化疫苗信息管理,确保预防接种规范化的必要举措。以信息安全3级等保为标准,针对安全建设、信息机房薄弱环节,对分布式数据管理中心进行安全升级改造,保护系统、数据、网络和应用的安全。(本文来源于《科技风》期刊2019年34期）
陈友旭[3]（2019）在《分布式文件系统中元数据管理优化》一文中研究指出随着信息时代互联网技术的快速发展和数据时代的到来,数据量呈指数型增长,数据存储技术对众多应用服务的影响日益加深。分布式文件系统因其具备高可靠性和高扩展性,并且支持文件共享存储和完善的并发访问控制功能,在存储系统中发挥着至关重要的作用。分布式文件系统通常包含元数据服务器、数据服务器和客户端叁个部分。元数据是用来描述文件系统和文件特征的系统数据,例如文件类型、文件大小、访问权限和数据索引信息等。用户在访问文件数据之前需要访问文件的元数据以获得文件的基本属性信息和数据的索引信息。在分布式文件系统中,超过50%的文件操作都是针对文件元数据的操作,因此分布式文件系统中元数据的存取性能至关重要。本文从分布式文件系统元数据预取机制、元数据服务器集群负载均衡策略和元数据管理方案叁个方面,对现有分布式文件系统元数据存取流程和管理方案进行分析并加以优化,以提升分布式文件系统中元数据的存取性能。本文的主要研究内容和贡献如下所述。(1)基于数据关联性的元数据预取机制在众多应用场景中,工作负载的局部性特征引起多个文件同时被一起访问,即文件间存在访问关联性。如果分布式文件系统事先感知文件间的关联关系,则可以通过预取技术提前将关联文件的元数据从元数据服务器端预取到客户端。因此通过引入元数据预取技术可以减少系统中元数据I/O的数目,同时减轻元数据服务器的负载压力和缩短元数据请求的处理流程。但是现有的元数据预取策略主要采用离线的方式从文件历史访问记录中探索一起被频繁访问的文件集合,具有很强的限制性并且难以根据系统负载特征动态调整关联关系。为了解决现有预取技术中存在的问题,本文从一个全新的角度考量文件间的关联关系,并提出了一种基于数据关联性的元数据预取机制SMeta。SMeta通过轻量级的模式匹配算法来探索文件数据中存在的关联关系,并复用元数据扩展属性空间存储关联关系,以避免引入额外的元数据同步操作和修改系统接口。此外SMeta还引入了高效的客户端动态反馈机制以提高预取的准确度。本章基于Ceph实现了一套原型系统,并利用元数据操作密集型的基准测试程序和真实的工作负载进行性能评估。实验结果表明,相比于Ceph,SMeta可将系统中元数据请求数目减少58.5-87.8%,并达到其10.5倍元数据存取吞吐量和2.75倍客户端线性扩展性能。相较于基于存取关联性的预取方案,SMeta可进一步提升元数据存取性能。(2)元数据服务器集群负载均衡策略在元数据服务器集群中需要引入负载均衡机制以保证集群负载分布的均衡性,同时提升集群整体资源利用率和元数据服务的并发性能。但是现有的元数据服务器集群负载均衡策略只考虑元数据服务进程逻辑层面的负载均衡,难以根据元数据服务器集群架构动态调整均衡方案。同时仅基于系统负载的时间局部性的均衡决策方案过于单一,难以根据系统负载特征动态调整决策方案。此外采用两阶段提交的阻塞式元数据迁移操作使得迁移消息过多,并且因锁竞争问题进一步阻塞客户端元数据请求,从而影响系统元数据存取性能。为了解决现有负载均衡策略中存在的问题,本文基于元数据服务器集群两层架构提出了一种新型负载均衡策略,并实现了一套原型系统Fim。Fim通过引入节点内IPC通信方案加速节点内消息传递,并结合节点内优先迁移的调度方案进一步缩短元数据迁移时长。并且Fim在进行均衡决策时充分考虑系统负载特征,从而进一步提升负载迁移的效率。Fim通过将元数据迁移消息与客户端元数据请求并发处理,并引入非阻塞式元数据迁移方案来进一步降低元数据迁移操作对客户端元数据请求的影响。实验结果表明,Fim可以有效缩短元数据迁移时长并且提升元数据迁移的准确性。相比于Ceph,Fim可以将ImageNet数据集的预处理时间缩短77%。(3)混合元数据管理方案元数据管理方案包括建立文件系统命名空间到元数据服务器集群间的映射关系,同时负责调控整个集群的负载均衡等问题。现有的元数据管理方案分为两类,分别是基于子树划分和基于哈希映射的元数据管理方案。基于子树划分的元数据管理方案将文件系统目录树拆分成多棵目录子树,分布到元数据服务器集群中。而基于哈希映射的方案则根据文件唯一标志符的哈希运算结果分布元数据。但是现有基于子树划分和哈希映射的元数据管理方案难以同时在目录局部性和负载均衡特征中进行有效地权衡。本文提出了一种混合元数据管理方案并实现了一套原型系统SmartM2。SmartM2通过在元数据服务器节点间采用子树划分的方式保留了文件系统良好的目录局部性,并且在节点内部多个元数据服务进程间采用哈希映射的方法均匀分布子树元数据,从而实现节点内多元数据服务进程间的负载均衡。同时SmartM2引入节点内IPC通信方案加速节点内多个元数据服务进程间通信速度,以进一步弥补因哈希映射引起的目录局部性的损失。此外当元数据服务器集群规模发生变化时,SmartM2将哈希映射的影响范围局限在单个元数据服务器节点中,减少了需要重新映射引起的元数据迁移总量,并且仅在节点内的元数据迁移操作进一步缩短了元数据迁移时长。实验结果表明SmartM2可以有效地权衡目录局部性和负载均衡特征。相比于Ceph,SmartM2可达到其3.9倍的元数据访问吞吐量。并且当元数据服务器集群扩容时,相比于基于哈希映射的管理方案,SmartM2可以将元数据迁移用时缩短74.7-92.6%。(本文来源于《中国科学技术大学》期刊2019-11-05）
严志,万烂军,蒋国清[4]（2019）在《基于分布式信任管理的数据转发算法》一文中研究指出时延容忍网络内的恶意或自私节点严重影响了网络性能。为此,提出基于分布式信任管理的数据转发算法(Distributed Trust Management-based Data Forwarding,DTM-DF)。DTM-DF算法通过分布式信任管理滤除恶意节点。首先,通过转发证据,并结合节点的能量消耗率计算直接信任。然后,再通过间接信任、推荐信誉值计算推荐信任。推荐信誉能够提高总体推荐信任值。仿真结果表明,提出的DTM-DF算法提高了数据包传递率,消除了路由不正当行为。(本文来源于《中国电子科学研究院学报》期刊2019年09期）
王亚辉[5]（2019）在《分布式数据库在电商数据管理中的应用研究》一文中研究指出针对海量数据存储问题,提出采用分布式数据库的技术路线解决电商数据管理问题研究。在分布式数据库电商数据管理系统设计中,通过系统框架设计、数据收集、数据分类,实现电商管理数据同步,达到数据监控效果。通过仿真实验,将本文系统与传统数据库管理系统相对比,得出本文系统具有更高的数据管理效率,以此证明研究的有效性。(本文来源于《电子元器件与信息技术》期刊2019年09期）
韩文军,余春生[6]（2019）在《面向输变电工程数据存储管理的分布式数据存储架构》一文中研究指出针对输变电工程数据的多源、异构、迭代更新和集成应用导致需要巨大存储空间且不利于数据挖掘分析的问题,提出了一种面向输变电工程数据存储管理的分布式数据存储架构.该架构基于元数据模型对输变电工程的工程地理信息、叁维设计模型和文档资料叁类数据进行细化,并根据不同数据存储模式的不同,设计了一种分布式存储架构分别处理各种数据.系统实现与仿真实验结果表明,所提出的分布式存储架构在保证存储效率及数据完整性的同时,也能保证数据的安全.(本文来源于《沈阳工业大学学报》期刊2019年04期）
闫泽鑫[7]（2019）在《海量车辆传感数据分布式管理平台的研究与设计》一文中研究指出在城市计算系统中.需要对多种异构大数据进行分析、挖掘和融合以解决城市中面临的各种问题,提供相关的智能应用和服务。车辆传感数据是城市计算系统中重要的数据组成部分,其具有海量、高速、多样等特征,对其的管理工作面临着诸多的挑战。本文提出了面向海量车辆传感数据的管理平台,提供高效数据预处理和海量分布式数据管理功能。针对车辆传感数据的数据特征和城市计算应用和服务的需求提出一系列有针对性的算法设计以及工程设计优化方案。本文首先分析海量车辆传感数据分布式管理平台的研究背景和主要挑战,明确平台在城市计算系统的定位和应用场景。随后结合车辆传感数据特征、业界数据规范和平台应用需求等多方面因素,提出了完整的车辆传感数据规范。进一步根据数据规范和应用需求,提出了一系列在不同层面的数据预处理规则和算法。其中根据信息论思想提出了具有可扩展性的轨迹压缩算法HESAVE和轨迹地图匹配算法InfoMatch,相较于对照算法均有一定的提升。之后对平台进行了需求分析、设计和可行性验证,提出了一套合理的软件框架及部署模型设计,以及完整的数据预处理、主数据管理和统一查询接口等功能模块的软件设计方案,针对车辆传感数据管理中面对的诸多可靠性、安全性、实时性、可扩展性等提出了针对性优化方案。最后对平台进行了可行性验证,结果表明平台能够满足在城市计算系统中对车辆传感数据管理的需求。(本文来源于《北京邮电大学》期刊2019-06-02）
张超,王星星,张冰玉,韩桂楠,高玲玲[8]（2019）在《大数据技术在分布式光伏用户管理中的应用》一文中研究指出依托大数据技术利用科学统计方法进行分析可以对分布式光伏发电的趋势、异常情况进行甄别,对分布式光伏用户管理发挥巨大作用,介绍了箱线图法工作原理,利用该方法分析了某地区分布式光伏用户发电量异常情况,由此说明了大数据技术在分布式光伏用户管理应用中的重要性和可行性。(本文来源于《河北电力技术》期刊2019年02期）
邱程[9]（2019）在《基于分布式存储的地理时空大数据管理系统研究》一文中研究指出目前,中国北斗卫星导航系统已经日益成熟和完善,物联网技术得到了全面推广,由此产生的地理时空数据呈海量增长。本文依托国防科技创新特区项目“多元地球空间大数据集成、关联与协同认知”专项的一个子项“多元地球空间大数据的集成和可视化”课题,在分布式集群平台上,采用结构化开发方法,从系统的需求和可行性出发,利用分布式存储、负载均衡、WebGIS和数据可视化技术,融合NoSQL数据库和时空数据管理工具GeoMesa,构建了基于分布式存储的地理时空大数据管理系统。取得以下研究成果:1.根据时空大数据的数据结构,结合分布式数据库的实时处理和海量数据存储优势,采用大数据处理Cloudera Manager、CDH套件和时空大数据管理工具GeoMesa,搭建地理时空大数据管理平台,实现时空大数据的快速存储和查询。2.根据栅格瓦片的数据模型,利用集群解决图片服务器高并发的优势,采用Nginx负载均衡技术,在叁台服务器上搭建了栅格瓦片的集群服务系统。3.根据浏览器的渲染模型,设计了地理时空大数据和栅格瓦片的数据可视化算法,并以气象的风场、热力数据和空气质量指数为例,通过数据可视化引擎Leftlet,实现地理时空大数据可视化。本论文重点研究了地理时空大数据的栅格瓦片和矢量时空数据的数据接入、规范化管理和数据可视化等技术,并构建了基于分布式存储系统的地理时空大数据的管理系统,并以气象的风场、热力数据和空气质量指数数据为例,实现时空数据的可视化展示。(本文来源于《江汉大学》期刊2019-05-01）
杨璐[10]（2019）在《分布式蒸渗仪群数据管理系统研究与实现》一文中研究指出蒸渗仪是研究水文循环中土壤水分蒸散、地表径流和地下径流等过程的装置,通过对土壤水分变化量进行自动化测量,可实现农业用水的供需平衡分析和节水灌溉,也能帮助科研人员准确掌握农田水分变化趋势,为统计作物生长规律提供有效的数据支撑。近年来,全国主要的农业科研院所在其农业示范区安装部署了不同类型的蒸渗仪设备,构成了分布式蒸渗仪群系统。论文针对分布式蒸渗仪群数据的远程查看、分析与管理等应用需求,设计了一套分布式蒸渗仪群数据管理系统。该系统利用4G无线通信网络上传采集数据和下发控制命令,实现了对蒸渗仪群的数据管理、设备控制等功能;另外,通过浏览访问数据管理平台,完成蒸渗仪群数据的远程查询、分析、管理和对蒸渗仪设备的远程监测与控制,有效地提高了农业示范区的信息化管理水平。主要研究内容和成果如下:(1)综合分析蒸渗仪群数据的采集、传输和管理,采用分层结构思想,设计了分布式蒸渗仪群数据管理系统的总体框架。并结合分布式蒸渗仪群数据管理系统的功能结构,对系统的感知层、传输层和应用层进行详细设计。(2)针对蒸渗仪群数据的有效监测、处理及分析需求,选取4G无线通信网络上传数据和下发控制命令。设计了系统的无线数据传输机制、传输方式和数据传输协议。针对分布式蒸渗仪群无线数据传输的多并发问题,提出了一种动态反馈负载均衡策略。(3)根据用户的具体业务需求,基于模块化设计思想,利用Java EE技术,对分布式蒸渗仪群数据管理平台的数据管理、设备管理和系统通用功能管理等模块进行了详细设计与实现,可完成蒸渗仪群数据的远程管理和对蒸渗仪设备的监测控制等功能。(4)对分布式蒸渗仪群数据管理平台进行了部署、测试和示范应用,中科院新疆生地所的实际应用结果表明,分布式蒸渗仪群数据管理系统工作性能良好,能够满足用户对蒸渗仪群数据查询分析与管理的要求。(本文来源于《长安大学》期刊2019-04-12）
分布式数据管理论文开题报告范文
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
提升预防接种信息化服务管理系统安全保护等级是贯彻落实国家卫生健康委及省委省政府、省卫生健康委、市委市政府等指示精神,全面强化疫苗信息管理,确保预防接种规范化的必要举措。以信息安全3级等保为标准,针对安全建设、信息机房薄弱环节,对分布式数据管理中心进行安全升级改造,保护系统、数据、网络和应用的安全。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
分布式数据管理论文参考文献
[1].吴超,郁建兴.面向公共管理的数据所有权保护、定价和分布式应用机制探讨[J].电子政务.2020
[2].顾鼎.基于叁级等级保护要求加强市级预防接种分布式数据管理中心安全建设[J].科技风.2019
[3].陈友旭.分布式文件系统中元数据管理优化[D].中国科学技术大学.2019
[4].严志,万烂军,蒋国清.基于分布式信任管理的数据转发算法[J].中国电子科学研究院学报.2019
[5].王亚辉.分布式数据库在电商数据管理中的应用研究[J].电子元器件与信息技术.2019
[6].韩文军,余春生.面向输变电工程数据存储管理的分布式数据存储架构[J].沈阳工业大学学报.2019
[7].闫泽鑫.海量车辆传感数据分布式管理平台的研究与设计[D].北京邮电大学.2019
[8].张超,王星星,张冰玉,韩桂楠,高玲玲.大数据技术在分布式光伏用户管理中的应用[J].河北电力技术.2019
[9].邱程.基于分布式存储的地理时空大数据管理系统研究[D].江汉大学.2019
[10].杨璐.分布式蒸渗仪群数据管理系统研究与实现[D].长安大学.2019