导读:本文包含了基于对象的分布式系统论文开题报告文献综述、选题提纲参考文献及外文文献翻译,主要关键词:分布式,对象,数据管理,存储系统,互联网,蛋鸡,语义。
基于对象的分布式系统论文文献综述
王强,覃遵颖,崔靖茹,折波,李国栋[1](2018)在《基于分布式对象存储的超融合常态录播系统》一文中研究指出随着在线教育热度的持续上升,常态化录播系统获得越来越多的关注。在大规模视频场景下,传统常态录播系统面临着可扩展性差、容错性差、视频检索以及分享困难的问题。设计实现了一套超融合架构常态录播系统,利用分布式对象存储的高可扩展性和高可靠性的特点,实现视频的稳定采集、可靠存储以及安全便捷的访问。实验结果表明,3台通用x86服务器组成的超融合集群,在满足读写时延需求的情况下,可以支撑600路2 Mbit/s码流视频并发写和4000路2 Mbit/s码流并发读。所设计的超融合架构录播系统目前已经应用在西安交通大学智能教室建设项目中,实现394间智能教室的常态化录播。(本文来源于《通信学报》期刊2018年S1期)
张亮[2](2018)在《分布式对象存储/文件系统的数据同步》一文中研究指出提出了分布式对象存储/文件系统跨数据中心的数据同步以及跨数据中心数据访问的解决方案,包括解析访问请求、获取请求路由、基于路由信息选择底层存储域、基于路由处理对象读取操作。(本文来源于《数字中国 能源互联——2018电力行业信息化年会论文集》期刊2018-09-15)
吴林[3](2018)在《基于异构存储设备的分布式对象存储系统优化研究》一文中研究指出随着电子图书、电商、医疗大数据、基因工程、高性能计算、虚拟/增强现实、流媒体等应用的发展和普及,数字资源近年来出现大规模增长,这些信息的存储和处理对底层存储系统的容量、性能、可靠性和可扩展性要求越来越高。传统基于磁盘的中心化存储系统不能有效解决大数据应用的可扩展性问题。因为磁盘的容量、体积和功耗都会成为制约系统扩展的瓶颈。近年来快速发展的新型存储介质,比如非易失性内存、闪存和归档硬盘,具有高密度、低时延和低功耗的诸多优点,构建基于混合介质的异构分布式对象存储系统成为降低数据中心成本的有效方法。这些新介质的引入会对传统的存储结构带来新的挑战,主要表现为传统的系统软件和应用程序的设计思想需要及时调整,以适应新介质的特征。为此,本文首先分析了基于非易失性存储器的混合介质对象存储系统的基本架构和研究热点,基于这些研究背景,本文从分布式对象存储系统中非易失性内存的管理策略、分布式对象存储系统的数据分配算法和对象存储系统中基于MapReduce计算框架的数据放置策略出发,研究基于混合介质的对象存储系统的优化方法。本文的主要研究内容如下:(1)混合介质的对象存储系统中非易失性内存的管理策略。在部署了非易失性内存的单节点上,本文设计了新的内存管理方案,用于提高基于非易失性内存的文件系统的磨损均衡效果,从而提升非易失性内存设备的使用寿命。该方法的基本思想是在每次分配内存页面的时候都优先选取写次数较少的内存页,并通过DRAM与非易失性内存结合的方法建立索引结构,加速查找操作。(2)基于混合介质的对象存储系统数据分布算法研究。传统基于哈希(Hash)的数据分配策略可以保证数据均匀分布到不同类型的存储设备,但是这些算法的缺点是都没有考虑存储设备的异构特性。例如,闪存和非易失性内存的擦写次数有限,使用寿命比普通的磁盘短,因此不适合存储写密集型的数据对象。为此,本文设计了新的数据分布算法,旨在充分考虑存储设备的异构特征以及系统的可靠性、稳定性、可扩展性的前提下保证读写性能和减少对非易失性存储器的写操作。该算法的核心思想是利用偏向哈希(Biased Hashing),根据数据对象的特点,动态选择合适的存储设备,解决传统均匀哈希算法在异构存储系统的问题。(3)基于异构环境的MapReduce框架数据分配策略的研究。在基于混合介质的对象存储系统中MapReduce数据分配策略方面,本文发现由于异构设备而使得Map/Reduce任务执行时间不同,本文基于Ceph架构,设计了新的数据放置算法,考虑集群间的负载均衡和异构特征,使得工作负载的执行时间最短。本文还通过实验验证了所提出的叁种优化方法的有效性。实验结果表明,这些优化工作能显着提升非易失性存储器的使用寿命,并能在保证系统负载均衡的前提下达到最小化应用执行时间的目的。(本文来源于《重庆大学》期刊2018-04-01)
陈曦,朱建涛,何晓斌[4](2017)在《一种面向高性能计算的分布式对象存储系统》一文中研究指出现有分布式文件存储系统存在数据组织低效和访问语义冗余等问题,严重限制了系统性能。为此,借鉴对象存储思想,设计面向高性能计算的分布式对象存储系统。分离数据访问和数据管理,实现更精简高效的访问语义,同时采用分布式全局对象数据组织方式,运用基于内存的元数据管理方法提升系统性能。实验结果表明,在大规模并发访问时,该系统的读/写聚合带宽相比Lustre系统分别提升22.5%和50.4%,文件创建、删除性能分别达到Lustre系统的2.15倍和5.13倍。此外,该系统还具有拟线性的数据读/写和元数据管理功能,可扩展性较好。(本文来源于《计算机工程》期刊2017年08期)
孟超英,王佳,陈红茜,李辉,张雪彬[5](2017)在《基于分布式对象的蛋鸡舍设施养殖数字化智能监测系统》一文中研究指出为了在非人为干扰条件下,可实时监测预警蛋鸡生产环境和生产过程,保障动物福利,本文基于可被远程调用的分布式对象的3Tiers物联网软件体系结构,将传感器技术和云技术结合在一起,设计了蛋鸡舍设施养殖数字化智能监测系统。3Tiers物联网软件架构考虑了大量的异构数据集成和对传感器设备的监测、远程交互性能的需求,满足了本研究中对规模化蛋鸡生产过程的研究要求。系统实现了规模化蛋鸡舍的实时生产环境参数采集和视频监控、生产资料管理、生产过程管理、基础信息管理、统计管理、预警设置管理、系统管理和推送管理功能。考虑到温热环境对蛋鸡健康福利和生产性能有着重要的影响,利用系统中的大量环境数据,对中国农业大学上庄实验站大鸡舍内的小气候环境舒适度进行评价,并结合产蛋率、死淘率和耗料,在黄山养殖场对环境舒适度评价进行了验证。通过对上庄鸡舍24 h周期内和2016年11月—2017年4月的环境情况进行分析,结果表明实验蛋鸡舍内的小气候环境温湿指数始终小于70,蛋鸡群始终处于舒适区;而通过对养殖场鸡舍2016年7—10月份的环境数据和生产数据进行分析,验证了当蛋鸡处于舒适区时,产蛋率提升,死淘率下降,耗料更接近标准。(本文来源于《农业机械学报》期刊2017年10期)
蒋程宇[6](2017)在《基于对象模型的试验数据分布式采集与管理系统开发》一文中研究指出试验中会产生大量结构不一的试验数据,为将这些试验数据进行统一管理,避免形成信息孤岛,我单位已有的试验数据分布式采集与管理系统,初步实现了对基于联合试验体系构建的试验系统中的试验数据进行采集与管理的功能。然而,目前系统有如下缺点:1)缺乏对试验数据自身特性的描述能力,导致数据无法被有效的管理和后续处理;2)没有对采集数据的结构进行描述,导致采集数据共享性不高,分析使用不便;3)数据管理系统不具备外部程序的访问接口,导致数据采集系统无法与数据管理系统形成有机整体;4)数据采集系统支持分布式的方法不够完善,不能实现自动分配采集节点,不能多节点自动同步采集与回放数据。针对以前版本的问题,本文在明确新的系统功能要求基础上,对整体系统进行了架构设计,然后对整个系统涉及的几项关键技术研究进行了详细阐述:研究了对象模型的数据表示技术,利用试验数据对象模型对试验数据进行描述,利用采集数据对象模型对采集数据进行描述;研究了基于试验数据对象模型的统一检索技术,通过对试验数据对象模型的检索获取试验数据;研究了分布式试验数据同步采集与回放技术,实现了采集系统的多节点同步采集与回放数据;研究了采集系统与管理系统间的数据交互的方法。本文采用模块化开发思想完成了基于对象模型的试验数据管理软件和采集与回放软件的需求分析与软件开发。在管理软件的开发中,完善了试验数据管理模块,开发了试验数据对象模型统一检索模块、标准模板管理模块、试验资源统计模块。最后对本软件的数据管理功能开发了WebService接口,实现了外部程序对管理软件的直接访问。在采集与回放软件开发中,完善了采集与回放方案制定模块、试验数据采集模块、试验数据回放模块。最后,设计了系统的测试方案,搭建了一个试验数据分布式采集与管理系统的测试环境对该系统进行了完善的测试与验证。结果表明系统运行正常,满足了对试验数据的采集与管理需求。(本文来源于《哈尔滨工业大学》期刊2017-06-01)
韩盛中,王冲,何抗洪[7](2017)在《互联网模式下分布式对象存储系统的设计》一文中研究指出在互联网日益发展的当下,每天都产生大量的数据。据IDC统计预测,到2020年,全球的数据总量将达到44ZB,其中75%是非结构化数据。各个产业都面临着大规模的数字化转型,产生的数据量非常巨大。因此对于海量数据的管理、治理、移动、分析有迫切的需求,因此分布式对象存储系统孕育而生。对于文档、图片、视频以及备份归档文件,都可以统一存放在对象存储系统中。对象存储系统保证了数据可靠性、高可用性、安全性,提供了高并发低时延的访问。与传统的NAS存储相比,对象存储提供了REST OVER HTTP(S)的接口,方便用户在互联网环境下访问。(本文来源于《电脑知识与技术》期刊2017年13期)
杜振伟[8](2017)在《负载感知的基于对象存储的分布式混合存储系统》一文中研究指出在云环境中,虚拟化技术被广泛应用,服务于虚拟机的块存储系统成为了整个云存储的重要组成部分,但传统的机械硬盘和存储区域网络(SAN)、存储附加网络(NAS)等存储架构已经越来越不能适应新的需求。新型存储设备—固态硬盘的出现,以它的高速读写特性快速在存储领域引发了一场变革。人们都希望通过它来提升存储系统的整体性能。但伴随高性能而来的是高价格,在面对PB级规模的数据中心时,全部采用固态硬盘而完全抛弃机械硬盘在经济上还难以承受,所以混合存储成为了一种兼具高性能和高性价比的可行方案。本文设计并实现了一种基于Ceph系统的负载感知的对象存储的分布式混合存储系统—BOBBS系统,它能够向云环境中的虚拟机提供高效的块存储服务,同时具备高可扩展性。它的底层是一个混合了固态硬盘和机械硬盘的对象混合存储系统,可以向上层提供适用于虚拟机的块存储服务。系统中存在两个层次的调度体系,在底层存储架构中,系统创建了两个分别由固态硬盘和机械硬盘构成的存储池,将由虚拟机磁盘镜像分割成的固定大小的对象放置在两个池上,并且能够动态地根据对象的冷热情况进行迁移,将热的数据尽量多地集中在固态硬盘上。在完成迁移的过程中,需要上层的监控节点进行信息收集、分析计算和制定调度策略,当系统规模扩大,这个节点很容易成为系统的性能瓶颈和单一故障节点,所以我们又对它进行了分布式化改造:首先是设计了表征监控器热度的模型,结合历史数据和当前监测数据,提出具有前瞻性的计算公式,建立热值模型。对于一台分析器接收到的多种表征其系统性能的数据,通过热值模型进行定量分析,量化区域的热度。其次是设计了监控器环状分布式拓扑结构,在监控器之间建立通讯,数据传输等渠道,为后面的调度算法和动态迁移机制提供了结构基础。最后是设计了热辐射调度机制和算法,在获取各个监控器的热度值后,通过基于热度值的调度迁移算法,把系统中高热值监控器的负载迁移到其周围低热度值的节点上去,以达到热辐射效果,平衡系统中各个监控器的热度。在完成上述工作后,我们对BOBBS系统和WHOBBS系统进行了对比试验。通过模拟块的工作流和文件工作流,我们对两个系统的性能进行了比较,也对BOBBS系统的动态负载迁移机制进行了验证。实验结果表明,BOBBS系统的总体性能要优于WHOBBS系统,而且系统内的热辐射机制能够通过动态的迁移,有效地将各个监控器的热度进行动态负载均衡,使其保持在一个较为合理的均衡水平。(本文来源于《上海交通大学》期刊2017-05-01)
蔺欣[9](2017)在《一种分布式对象存储系统的设计与实现》一文中研究指出近年来互联网发展迅猛、电子商务和社交网络兴盛繁荣使企业和个人产生的数据量爆炸式增长,尤其是像图片、邮件这类的小文件数量也呈指数级增长。大型社交网络如Facebook、QQ,大型电商平台如淘宝、京东,对图片等小文件有极大的依赖,这些网站后台存储的小文件数量规模都达到了千亿级别,传统的存储技术已经无法适应大数据时代海量小文件的存储需求,针对海量小文件的存储及管理技术越来越受到关注。本文设计和实现了一种基于对象存储的分布式文件系统。主要应对海量小文件存储与访问存在的如元数据访问效率低、主服务器性能受限、磁盘I/O效率低、磁盘空间利用率低等一系列瓶颈问题,本系统运用对象存储的方法,将小文件合并成大对象文件来实现存储管理。在系统的内存中为对象文件建立相应的元数据索引,使得我们对海量小文件的存储管理访问更加灵活,也降低了元数据的负载。论文的主要工作以及创新点如下:1.设计了一个应对海量小文件存储的分布式系统解决方案。根据对现有分布式文件系统解决方案进行调研后,采用基于对象存储的思想,将各类非结构化数据文件抽象为对象统一存储,系统采用HA(High Available)和Master/Slave架构混合搭建,充分发挥分布式系统的高可用和高性能。2.优化系统中元数据的存储和管理。通过将大量的小文件合并成一个大文件对象,为每个对象文件的元数据建立外部索引,这样一来大大减轻了元数据管理的负担。且读取文件操作只需一次磁盘访问即可,提升了小文件的访问速度,同时减少了读写IO次数的开销。3.解决长尾需求性能低的问题。数据分热数据和冷数据,热数据的访问只能靠缓存解决,本系统无缓存而是直接从磁盘读,解决了冷数据的访问。4.实现了系统的主控模块、数据服务器等功能模块,引用Zookeeper构建分布式系统的协调机制。采用较为底层的C语言进行系统开发,对典型场景可能出现的错误与异常提出了相应的解决方案提高系统的容错能力。最后对系统各个功能模块进行功能测试、对系统的在不同模式下的读写性能和同步性能进行了测试,并针对测试结果提出优化意见。(本文来源于《北京工业大学》期刊2017-05-01)
黄红丽[10](2017)在《分布式对象文件系统缓存措施研究》一文中研究指出近年来,我国经济技术不断发展,计算机技术的发展速度也是十分显着,在计算机的存储结构中,对象存储结构的存储性能更加优良,能够保证存储所需要的高适应性与稳定性,因为分布式对象存储结构的独特优点,被广泛运用于各种平台,由于读写性能的影响,对象存储器不能发挥出全部的潜力,为了解决此类问题,科研人员发现通过缓存技术的辅助作用,可以实现良好的预期效果,并很大程度上延迟了数据写入的时间,有效提高了系统的工作效率,本文主要分析了分布式对象文件系统缓存的相关原理,并提出了有效的系统缓存策略。(本文来源于《电脑迷》期刊2017年04期)
基于对象的分布式系统论文开题报告
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
提出了分布式对象存储/文件系统跨数据中心的数据同步以及跨数据中心数据访问的解决方案,包括解析访问请求、获取请求路由、基于路由信息选择底层存储域、基于路由处理对象读取操作。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
基于对象的分布式系统论文参考文献
[1].王强,覃遵颖,崔靖茹,折波,李国栋.基于分布式对象存储的超融合常态录播系统[J].通信学报.2018
[2].张亮.分布式对象存储/文件系统的数据同步[C].数字中国能源互联——2018电力行业信息化年会论文集.2018
[3].吴林.基于异构存储设备的分布式对象存储系统优化研究[D].重庆大学.2018
[4].陈曦,朱建涛,何晓斌.一种面向高性能计算的分布式对象存储系统[J].计算机工程.2017
[5].孟超英,王佳,陈红茜,李辉,张雪彬.基于分布式对象的蛋鸡舍设施养殖数字化智能监测系统[J].农业机械学报.2017
[6].蒋程宇.基于对象模型的试验数据分布式采集与管理系统开发[D].哈尔滨工业大学.2017
[7].韩盛中,王冲,何抗洪.互联网模式下分布式对象存储系统的设计[J].电脑知识与技术.2017
[8].杜振伟.负载感知的基于对象存储的分布式混合存储系统[D].上海交通大学.2017
[9].蔺欣.一种分布式对象存储系统的设计与实现[D].北京工业大学.2017
[10].黄红丽.分布式对象文件系统缓存措施研究[J].电脑迷.2017