存储结构分析论文-李航

存储结构分析论文-李航

导读:本文包含了存储结构分析论文开题报告文献综述及选题提纲参考文献,主要关键词:数据模型,测井数据

存储结构分析论文文献综述

李航[1](2018)在《大庆测井数据存储结构分析》一文中研究指出论文结合大庆油田现有的测井数据模型和数据体的结构深入讨论现在数据存储模式的弊端并提出新的解决办法。(本文来源于《信息系统工程》期刊2018年07期)

毛婷[2](2017)在《Linux存储结构分析》一文中研究指出通过对64位Linux操作系统的存储结构进行了研究,编程实现了一个内存分析的工具。从内存数据出发,研究进程链表的结构,页式映射以及空闲页面管理。通过内存数据和工具得到的结果进行对比验证。阐述了内存获取的方案,设计并实现了一个内存获取接口 CDriverLoad。介绍了每个系统功能的驱动设计思路以及驱动具体实现。给出了进程头结点定位方案,分析了进程链表的结构。从内存数据出发,验证了进程链表是一个双向循环链表。阐述了虚拟地址到物理地址的转化过程,给出了获取CR3的方法,并且从内存数据出发,分析了每一级映射后得到的结果。研究了伙伴算法的原理,分析了成为伙伴的条件,给出了空闲页管理的头结点定位方法。分析了 ZONE_DMA的free_area[0]的数据块,验证了空闲页面管理的free_list链表是一个双向循环链表。研究内容经过了软件和内存数据的双重验证。并且将研究内容编程实现了内存分析工具,达到快速分析的目的,为Linux操作系统内存数字取证软件设计提供理论依据和具体接口。(本文来源于《中南林业科技大学》期刊2017-05-01)

陈希林,马丁[3](2016)在《针对微博信息分析的HBase存储结构设计》一文中研究指出随着互联网的发展,微博对人们生活的影响日益加深。由于微博用户的激增,微博数据量已经非常庞大,且每时每刻都在急速增长。面对这种形势,传统数据库对于海量数据的处理效率已经难以满足需求,于是NoSQL数据库应运而生。文章采用的HBase是目前比较受欢迎的开源NoSQL之一。作为依赖于HDFS分布式存储架构的新型NoSQL数据库,HBase不仅能满足高效的结构化数据存储,并通过Mapreduce实现高效处理,还能存储非结构化数据,为海量数据提供相对灵活的信息存储管理。最重要的是,HBase的集群扩展起来非常方便,只需要增加Slave节点机器即可,比传统数据库的读写分离、分表等扩展操作要简便得多。文章研究了针对微博信息的HBase行键设计,从深度信息、广度信息等不同角度探讨行键的设计,并通过二级索引改善HBase的查询效率。在不更改HBase源代码的前提下,文章解决了信息查询在很大程度上受到行键设计制约的问题,并充分考虑了适用于微博图片、链接等信息的存储方式,满足微博信息的高效管理。(本文来源于《第31次全国计算机安全学术交流会论文集》期刊2016-10-13)

陈希林,马丁[4](2016)在《针对微博信息分析的HBase存储结构设计》一文中研究指出随着互联网的发展,微博对人们生活的影响日益加深。由于微博用户的激增,微博数据量已经非常庞大,且每时每刻都在急速增长。面对这种形势,传统数据库对于海量数据的处理效率已经难以满足需求,于是NoSQL数据库应运而生。文章采用的HBase是目前比较受欢迎的开源NoSQL之一。作为依赖于HDFS分布式存储架构的新型NoSQL数据库,HBase不仅能满足高效的结构化数据存储,并通过Mapreduce实现高效处理,还能存储非结构化数据,为海量数据提供相对灵活的信息存储管理。最重要的是,HBase的集群扩展起来非常方便,只需要增加Slave节点机器即可,比传统数据库的读写分离、分表等扩展操作要简便得多。文章研究了针对微博信息的HBase行键设计,从深度信息、广度信息等不同角度探讨行键的设计,并通过二级索引改善HBase的查询效率。在不更改HBase源代码的前提下,文章解决了信息查询在很大程度上受到行键设计制约的问题,并充分考虑了适用于微博图片、链接等信息的存储方式,满足微博信息的高效管理。(本文来源于《信息网络安全》期刊2016年09期)

孔洁,刘杨[5](2016)在《实时数据库历史数据存储结构及索引机制分析》一文中研究指出随着计算机技术的发展,越来越要求数据库能够快速响应并存储海量数据,同时能够高效收集、压缩、存储、分析数据。传统的关系型数据库不再能够满足要求,实时数据库是实现海量数据采集的有效手段,实时数据库通过采用实时数据压缩算法以及特殊的历史数据存储索引机制,应对目前的需求。实时数据库推动了信息化从传统领域向新的领域发展,为企业生产、管理、数据分析、决策提供实时数据服务和多种数据管理。(本文来源于《电脑知识与技术》期刊2016年15期)

王猛[6](2015)在《大数据分析仓库Hive存储结构扩展的设计和实现》一文中研究指出Hadoop已经成为大数据领域流行的开源处理平台,且形成了较完备的生态系统。建立在Hadoop之上的Hive是Facebook开源的一个支持SQL查询的数据仓库。Hive把SQL查询转化为MapReduce任务并提交给Hadoop调度器进行调度,执行并返回查询结果。当前,Hive存在查询响应时间过长以及表数据存储空间过大两大问题,这些问题制约了Hive的发展。针对这些问题,学术界和工业界展开了一系列研究,主要体现在对SQL解析器的优化,Hive数据行并行解析,Hive表数据存储结构的优化,I/O利用率的优化,Reduce计算资源动态分配的研究以及HDFS RAID分级存储等方面。本文以某知名通讯设备公司(简称H公司)的数据中心项目为背景,针对Hive存在的SQL查询效率较低以及表数据存储空间较大这个问题,在对HDFS分布式文件系统、Map Reduce计算框架、二维表数据存储技术等相关技术分析的基础上,提出了一种改进的存储结构Flexible Optimized Segment File(简称FOSF)。该存储结构通过Hive提供的StorageHandler接口完成了实现。TPC-H实验和应用验证表明,FOSF相比于Hive当前的存储结构提高了20%左右的查询效率,节省了50%左右的存储空间,减少了10%左右的数据加载时间。本文的主要工作内容有如下几点:第一,Hive的存储结构RecordColumnFile在执行带filter条件的SQL语句时,无论满足filter条件的数据有多少行,其总是会加载整个filter列的数据进入内存。针对这个问题,本文提出了一种基于元数据信息的列式索引算法。该算法会为数据列建立记录最大值和最小值的索引信息,在进行filter条件计算的时候,能够通过读取filter列的索引信息来进行过滤,而不用加载整个filter列数据到内存里。实验表明,针对SQL查询中的filter列,该算法使得加载进入内存的filter列的数据量仅为RecordColumnFile的1/4;第二,为了提高查询效率,节省数据的存储空间,H公司要求利用数据的分布规律对其存储在Hive中的用户数据进行压缩。相关文献也表明针对数据列的分布规律进行压缩能提高SQL查询效率,节省数据存储空间。然而,Hive的存储结构在数据压缩时,采用的是LZO等压缩算法,这些压缩算法并没有考虑数据值分布规律。针对上述问题,本文提出了叁种改进的针对H公司的用户数据分布规律的压缩算法,并提供自适应决策为H公司的用户数据列中随机分布的数据列选择综合性能更优的压缩算法。这叁种算法分别适合于呈等差数列的数值分布规律,重复值较多且取值范围小的数值分布规律以及相邻数值增量差较小的分布规律。在数据列存储的时候,对于随机分布的数据列,自适应决策算法可以在对数据列压缩时选择能获得更高压缩性能的压缩算法进行压缩。实验表明,该算法使得Hive表数据的压缩比提高了50%左右,压缩时间降低了10%左右,解压缩时间降低了10%左右。第叁,基于Hive提供的StorageHandler接口,在Hive中实现了FOSF结构。FOSF具备基于元数据信息的列式索引,利用数据分布规律的自适应压缩以及混合存储等关键特点。(本文来源于《上海交通大学》期刊2015-05-01)

金顺福,王晨飞,陈玲玲,霍占强[7](2015)在《Cloud-P2P云存储结构的模型建立与性能分析》一文中研究指出基于Cloud-P2P云存储结构,针对云中心和P2P节点存储层数据副本的访问机制,考虑节点存储层数据副本的修复过程,建立一个叁维连续时间Markov链模型。使用矩阵几何解方法导出该模型的稳态解,并给出节点存储层传输率,数据访问延迟和副本修复率等系统性能指标的表达式。通过数值实验和系统仿真定量刻画数据副本数等系统参数对Cloud-P2P云存储结构性能的影响。构造利润函数,进行用户存储层副本数的优化设置。(本文来源于《通信学报》期刊2015年03期)

张锦文[8](2014)在《SQL Server数据库存储结构分析》一文中研究指出针对结构化查询语言(SQL)Server 2000数据库的主数据文件的存储结构进行了解剖。通过对大量的数据库主数据文件的解读统计分析,阐述了数据库主数据文件的存储结构,推导出主数据文件中数据页、页面标题、记录标题、记录偏移量数组的逻辑结构,推导出记录存放顺序和数据类型代码。通过编程做了一些实例,得出解读数据库主数据文件的基本方法,为手工恢复数据库提供了技术途径。(本文来源于《太赫兹科学与电子信息学报》期刊2014年04期)

李长福,夏晓敬,王立全[9](2014)在《硬盘数据存储结构与恢复分析》一文中研究指出本文主要分析硬盘数据存储结构及原理、造成数据破坏丢失原因,并用实例说明数据恢复操作方法,最后给出数据存储在使用过程中的一些建议。(本文来源于《计算机光盘软件与应用》期刊2014年12期)

陆云帆,诸振家[10](2014)在《数据库大数据量存储结构的研究分析》一文中研究指出随着我国社会经济的快速发展,电网公司逐渐向着信息化方向发展,并取得了显着的成效,但是电力系统中业务数据库性能水平却相对较低。在电力营销过程中,会产生大量的数据信息,面对庞大的数据量,要想对其进行存储于处理,就需要不断的设计与优化数据库数据存储结构,选用适当的存储方式对这些大数据量进行处理。本文就围绕四种不同类型的数据存储方式,分析其设计的方式以及优缺点。(本文来源于《电子技术与软件工程》期刊2014年11期)

存储结构分析论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

通过对64位Linux操作系统的存储结构进行了研究,编程实现了一个内存分析的工具。从内存数据出发,研究进程链表的结构,页式映射以及空闲页面管理。通过内存数据和工具得到的结果进行对比验证。阐述了内存获取的方案,设计并实现了一个内存获取接口 CDriverLoad。介绍了每个系统功能的驱动设计思路以及驱动具体实现。给出了进程头结点定位方案,分析了进程链表的结构。从内存数据出发,验证了进程链表是一个双向循环链表。阐述了虚拟地址到物理地址的转化过程,给出了获取CR3的方法,并且从内存数据出发,分析了每一级映射后得到的结果。研究了伙伴算法的原理,分析了成为伙伴的条件,给出了空闲页管理的头结点定位方法。分析了 ZONE_DMA的free_area[0]的数据块,验证了空闲页面管理的free_list链表是一个双向循环链表。研究内容经过了软件和内存数据的双重验证。并且将研究内容编程实现了内存分析工具,达到快速分析的目的,为Linux操作系统内存数字取证软件设计提供理论依据和具体接口。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

存储结构分析论文参考文献

[1].李航.大庆测井数据存储结构分析[J].信息系统工程.2018

[2].毛婷.Linux存储结构分析[D].中南林业科技大学.2017

[3].陈希林,马丁.针对微博信息分析的HBase存储结构设计[C].第31次全国计算机安全学术交流会论文集.2016

[4].陈希林,马丁.针对微博信息分析的HBase存储结构设计[J].信息网络安全.2016

[5].孔洁,刘杨.实时数据库历史数据存储结构及索引机制分析[J].电脑知识与技术.2016

[6].王猛.大数据分析仓库Hive存储结构扩展的设计和实现[D].上海交通大学.2015

[7].金顺福,王晨飞,陈玲玲,霍占强.Cloud-P2P云存储结构的模型建立与性能分析[J].通信学报.2015

[8].张锦文.SQLServer数据库存储结构分析[J].太赫兹科学与电子信息学报.2014

[9].李长福,夏晓敬,王立全.硬盘数据存储结构与恢复分析[J].计算机光盘软件与应用.2014

[10].陆云帆,诸振家.数据库大数据量存储结构的研究分析[J].电子技术与软件工程.2014

标签:;  ;  

存储结构分析论文-李航
下载Doc文档

猜你喜欢