机群文件系统论文_邵冰清,张军伟,郑彩平,张浩,刘振军

导读:本文包含了机群文件系统论文开题报告文献综述、选题提纲参考文献及外文文献翻译,主要关键词:机群,文件系统,数据,语义,量值,条带,服务器。

机群文件系统论文文献综述

邵冰清,张军伟,郑彩平,张浩,刘振军[1](2015)在《蓝鲸机群文件系统的元数据一致性协议》一文中研究指出蓝鲸机群文件系统BWFS采用元数据服务器集群以扩展元数据服务能力,多个服务器之间的分布式元数据一致性维护成为必须要解决的问题.然而传统一致性维护协议通常需要多次的网络交互和磁盘同步,阻碍了BWFS元数据性能扩展.BWFS在本地日志系统的基础上设计实现了一种新型的分布式元数据一致性协议.协议针对BWFS中每个分布式元数据操作只涉及到两台服务器,通过在所涉及的两台服务器之间互相保存冗余操作日志,实现了异步的分布式元数据一致性,避免了磁盘同步开销.测试表明,保证一致性的情况下分布式元数据操作的平均响应时间相比无一致性保证仅延长了约5%-15%;在宕机的情况下,单个服务器恢复10000个分布式元数据操作的时间仅1s.(本文来源于《小型微型计算机系统》期刊2015年05期)

陈卓,熊劲,马灿[2](2012)在《基于SSD的机群文件系统元数据存储系统》一文中研究指出随着数据量的增加和元数据操作性能需求的提高,传统基于磁盘(HDD)存储架构的机群文件系统元数据存储系统由于HDD成为性能瓶颈而无法满足需求.将SSD应用到元数据存储中,设计实现了一个基于SSD+HDD的异构元数据存储系统Hybrid MDSL.针对SSD的I/O特性设计了基于追加写的元数据存储组织,并通过基于访问热度的数据迁移机制提高SSD空间利用率.测试结果表明,Hybrid MDSL明显提高了元数据I/O的性能.(本文来源于《计算机研究与发展》期刊2012年S1期)

周江,熊劲,马灿[3](2011)在《面向机群文件系统的高可靠消息传输机制》一文中研究指出针对机群文件系统的个子操作出现错误会影响数据的可用性,提出了一种高可靠的消息传输机制HR-NET.将机群文件系统的网络故障分为3类:发送错误;接收错误;请求应答错误.对于前2种错误,提出了基于冗余传输路径的网络容错机制,对消息收发故障进行恢复,同时引入消息优先级调度策略,动态地调整消息的处理次序,避免请求应答类型的错误.通过分离并单独处理网络故障,HR-NET为机群文件系统提供了高可靠的通信机制,简化了上层文件语义操作的实现.测试结果表明HR-NET高可靠性机制所带来的性能损失低于9%.(本文来源于《华中科技大学学报(自然科学版)》期刊2011年S1期)

吕正,陈昊,吕毅[4](2010)在《机群文件系统共享语义测试方法》一文中研究指出机群文件系统能否满足用户需要的共享文件语义涉及机群文件系统服务的正确性、性能和易用性。为验证该类特性,提出文件系统共享语义测试概念,实现一个文件语义测试系统FSbench。FSbench使用随机测试和划分测试相结合的方法测试和验证文件系统是否满足一定的语义特性。测试表明该方法能够得到令人满意的结果。(本文来源于《计算机工程》期刊2010年10期)

张军伟,郭明阳,张建刚,许鲁[5](2008)在《蓝鲸机群文件系统文件layout设计与实现》一文中研究指出维护文件逻辑位置到物理位置映射关系的文件布局是文件系统的重要组成部分。针对蓝鲸海量机群文件系统中文件的条带分布特性,分析了目前普遍采用的叁级间接地址文件布局和扩展块段文件布局的优缺点。有效结合叁级间接地址文件布局避免查询、直接映射的优点和扩展块段文件布局映射高效、空间占用少的优点,提出了一种新的固定长度扩展块段文件布局,并在小文件环境对其进行了优化改进,提出了幂次长度扩展块段文件布局。实验测试结果表明该文件布局可以有效适用于蓝鲸机群文件系统,达到了预期效果。该文件布局同样适用于其他采用条带机制的文件系统。(本文来源于《计算机科学》期刊2008年11期)

李剑宇,唐荣峰,熊劲,孟丹[6](2008)在《基于对象存储的机群文件系统数据通路》一文中研究指出介绍基于对象存储的机群文件系统——LionFS所采用的关键技术,包括直接递送的数据传输机制以及基于前端负载访问信息的预取技术。性能测试表明,采用预取技术后数据通路可以"并发流水",读带宽增长了70%,直接递送操作使读、写性能分别提高24%和28%。(本文来源于《计算机工程》期刊2008年10期)

田俊峰,宋玮玮,于洪芬[7](2007)在《两级元服务器机群文件系统的负载平衡策略》一文中研究指出提出了一种两级元数据服务器机群文件系统的负载平衡策略,高级元服务器依据与二级元服务器性能最密切相关的负载信息将任务快速分配,在存储文件时,提出了一种能正确反映各存储节点I/O流量和存储量的方法:计算文件热量值,并据此对待存文件进行了合理的分配存储。实验结果表明,该策略提高了系统的性能,缩短了任务执行时间,取得了较好的效果。(本文来源于《计算机工程》期刊2007年16期)

宋玮玮,马晓雪[8](2007)在《一种包含两级元数据服务器的机群文件系统》一文中研究指出本文提出了一种两级元数据服务器机群文件系统,高级元服务器实现任务分配功能,依据与二级元服务器性能最密切相关的负载信息将任务快速分配给二级元服务器,同时在存储文件时,提出了一种文件热量模型,能正确反映各存储节点I/O流量和存储量的方法,并依据文件热量值对待存文件进行了合理的分配存储。实验结果表明,本策略提高了系统的性能,缩短了任务执行时间,取得了较好的效果。(本文来源于《科技信息(科学教研)》期刊2007年12期)

李晖,范志华,熊劲,马捷[9](2006)在《机群文件系统DCFS2的高可用性研究与实现》一文中研究指出对DCFS2采用的高可用技术进行了介绍,主要对DCFS2的客户端高可用的问题进行了分析,解决了在DCFS2的结构下的客户端失效的恢复问题。对DCFS2的性能测试表明,DCFS2可提供具有竞争性的带宽和元数据性能和高可用性。(本文来源于《计算机工程》期刊2006年07期)

熊劲[10](2006)在《大规模机群文件系统的关键技术研究》一文中研究指出机群结构已成为高性能计算机的主流结构。高端计算应用对机群I/O系统提出了挑战性的需求。随着CPU处理能力和通信速度的迅速提高,I/O成为制约机群实际效率发挥的瓶颈,I/O瓶颈问题是当前机群面临的一大难题。机群文件系统作为解决机群I/O瓶颈的核心技术,其研究具有重要的意义。面向大规模机群的机群文件系统的体系结构应该是多数据通路多元数据通路的,即元数据处理与文件I/O分离,利用大规模网络存储系统来提供多条数据I/O通路,利用一组元数据服务器来提供多条元数据I/O通路。针对这种结构的机群文件系统,我们研究了其中的几个关键问题,包括元数据的分布问题,元数据的一致性和快速故障恢复问题,以及PB级机群文件系统的相关问题。本文的主要贡献在于:(1)提出一种高效的大存储空间的管理策略——Bitmap-Extent混合策略。针对PB级机群文件系统,打破了传统文件系统基于一个块设备的限制,提出将机群文件系统与物理存储分离的一种逻辑空间策略,从而解决了文件系统容量受限问题和存储扩展问题等;而且针对PB级存储空间管理,提出一种基于位图与extent链表相结合的大规模存储空间管理机制,以提高存储空间的管理效率。(2)提出一种基于粒度的动态元数据分布策略。元数据分布问题是决定非集中式元数据处理性能的关键问题。我们提出的基于粒度的动态元数据分布策略以提高元数据处理整体性能为目标,综合考虑元数据分布均衡度和文件系统层次结构关系两个因素对元数据处理整体性能的影响,按照D-D-F粒度来划分名字空间和分布元数据,实验结果表明在模拟真实环境的负载下其性能优于动态随机分布策略和动态根子树分布策略。(3)提出一种基于简化的两阶段提交协议的、故障后可快速恢复元数据一致性的分布式元数据处理协议。元数据一致性问题是影响分布式元数据管理的可靠性和高可用性的关键问题。为了解决元数据服务器之间的元数据一致性问题,我们将两阶段提交协议与元数据的处理协议结合起来,提出一种基于简化的两阶段提交协议的分布式元数据处理协议,在元数据服务器失效或客户节点失效时,能够快速恢复文件系统的元数据一致性,保证文件系统的可用性。(4)设计和实现了面向多用户多任务环境的、支持大规模机群系统的、面向海量数据存储的机群文件系统DCFS2。在机群文件系统性能评价方面,提出从峰值性能、稳定性能、系统规模扩展性、元数据服务器扩展性、存储设备扩展性和存储I/O带宽利用率六个性能评价指标。并用这六个指标对DCFS2的性能进行全面评价。我们的结果表明,DCFS2能够获得比GFS等文件系统更高的聚合I/O带宽和聚合元数据处理性能。(本文来源于《中国科学院研究生院(计算技术研究所)》期刊2006-03-01)

机群文件系统论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

随着数据量的增加和元数据操作性能需求的提高,传统基于磁盘(HDD)存储架构的机群文件系统元数据存储系统由于HDD成为性能瓶颈而无法满足需求.将SSD应用到元数据存储中,设计实现了一个基于SSD+HDD的异构元数据存储系统Hybrid MDSL.针对SSD的I/O特性设计了基于追加写的元数据存储组织,并通过基于访问热度的数据迁移机制提高SSD空间利用率.测试结果表明,Hybrid MDSL明显提高了元数据I/O的性能.

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

机群文件系统论文参考文献

[1].邵冰清,张军伟,郑彩平,张浩,刘振军.蓝鲸机群文件系统的元数据一致性协议[J].小型微型计算机系统.2015

[2].陈卓,熊劲,马灿.基于SSD的机群文件系统元数据存储系统[J].计算机研究与发展.2012

[3].周江,熊劲,马灿.面向机群文件系统的高可靠消息传输机制[J].华中科技大学学报(自然科学版).2011

[4].吕正,陈昊,吕毅.机群文件系统共享语义测试方法[J].计算机工程.2010

[5].张军伟,郭明阳,张建刚,许鲁.蓝鲸机群文件系统文件layout设计与实现[J].计算机科学.2008

[6].李剑宇,唐荣峰,熊劲,孟丹.基于对象存储的机群文件系统数据通路[J].计算机工程.2008

[7].田俊峰,宋玮玮,于洪芬.两级元服务器机群文件系统的负载平衡策略[J].计算机工程.2007

[8].宋玮玮,马晓雪.一种包含两级元数据服务器的机群文件系统[J].科技信息(科学教研).2007

[9].李晖,范志华,熊劲,马捷.机群文件系统DCFS2的高可用性研究与实现[J].计算机工程.2006

[10].熊劲.大规模机群文件系统的关键技术研究[D].中国科学院研究生院(计算技术研究所).2006

论文知识图

4 不同传输方式下读写性能的对比1 系统结构图1 所示。MSA 的时实负载信息共享文件缓存层次示意图(摘自参考文...客户端迁移决策流程性能对比测试结果图

标签:;  ;  ;  ;  ;  ;  ;  

机群文件系统论文_邵冰清,张军伟,郑彩平,张浩,刘振军
下载Doc文档

猜你喜欢