查询处理器论文_叶苗

导读:本文包含了查询处理器论文开题报告文献综述、选题提纲参考文献及外文文献翻译,主要关键词:多核,处理器,数据流,多线程,重构,数据库查询,利用率。

查询处理器论文文献综述

叶苗[1](2017)在《多核处理器下SKLOIS多级安全数据库查询方法研究》一文中研究指出针对传统方法存在多核处理器下SKLOIS多级安全数据库查询不准确的问题,提出一种新的多核处理器下SKLOIS多级安全数据库查询方法。用一个加权有向图对多核处理器下SKLOIS多级安全数据流图进行描述。为数据流图中所有结点分配一个内核。依据数据流图中规定的执行顺序执行给定查询语句,完成查询语句的并行执行。查询语句通过LBT树模型获取,通过定义叁种多核处理器下的SKLOIS多级安全数据库查询类型获取LBT搜索空间大小的上界和下界。搜索整个查询执行计划空间,获取一个具有最小开销的LBT查询树,给出LBT方法的查询代码。实验结果表明,所提方法具有很高的查询响应速度,且针对更新数据具有快速适应能力。(本文来源于《科学技术与工程》期刊2017年02期)

袁通[2](2016)在《基于多核处理器的内存数据库查询执行优化研究》一文中研究指出随着信息技术的快速发展,各类数据呈爆炸式的增长,数据库系统成为近年来计算机领域的热点研究方向。目前对于数据库系统的研究主要包括:查询执行、查询优化以及数据存储。查询执行是数据库系统的核心部分,包含各种数据库的基本操作,有重要的研究意义。随着半导体技术的发展,单核处理器的性能提升空间十分有限,多核处理器的快速发展,已经成为处理器市场的主流。除此之外,存储器的容量也越来越大,价格越来越便宜,数据库系统中全部数据或者大部分数据放入内存已成为可能。内存数据库的兴起,使研究人员将研究的重点放到了提升数据库算法的运算效率以及提升内存存取效率上,而不再关注硬盘的存取效率。尽管近年来在多核内存数据库查询执行优化技术领域的研究不断取得新的进展,但在利用多核处理器并行资源对一些数据库基本操作进行优化方面,存在有待提高和完善之处。结合目前数据库查询执行领域的研究成果,针对一些数据库基本操作存在的不足,本文利用多核处理器的并行资源对内存数据库中哈希划分算法、自适应索引算法、哈希连接算法进行了优化,其主要工作概括如下:(1)本文总结了多核处理器中解决线程之间冲突的常用方法,这些方法包括:加锁策略、独立空间策略、两次遍历策略,以及并行缓存策略,并分析了这些方法各自的优缺点。在此基础上,针对目前并行哈希划分算法存在的问题,应用和提出了多种改进方法。其中,软件合并写优化先将数据放入较小的缓存区中,当缓存区放满后再放入最终划分结果中,这样可以有效地降低TLB miss数量;绕过缓存优化通过non-temporal writing操作将短期内不再使用的数据直接写入相应的内存地址中,避免通过缓存,提高写操作效率;改进的哈希表支持内存动态分配,保证能够使用软件合并写优化和绕过缓存优化的同时,提高了存取效率,降低了初始化开销;负载均衡优化使得该算法能够适应有倾斜的输入数据。通过实验分析,本文使用的优化方法能够有效地提高并行哈希算法的效率,并使之适应有倾斜的数据样式。(2)本文总结了现有的各种自适应索引算法,并分析其优缺点。在此基础上提出了一种自适应选择优化策略的方法,该方法可以通过划分位置、查询选择率来自动选择优化策略,提升自适应索引算法的效率。除此之外,该方法能根据数据块的查询次数,动态地调整Buffered-swapping Cracking算法中堆结构的大小,提升该算法效率。其次,在原有Adaptive Merging算法的基础上,提出了多核并行Adaptive Merging算法。该方法通过并行排序算法实现了索引结构的初始化,利用线程级并行和基数排序的方法实现了查询语句的执行和索引结构的优化。然后,又研究了多核并行自适应索引算法的优化技术,将加锁并行方法与改进的PartitionMerge算法相结合,在索引中数据块较少时,使用改进的Partition Merge算法,降低线程之间冲突的概率,减少线程等待时间,提高线程利用率;当索引中数据块较多时,使用加锁并行方法,充分利用了多核处理器的并行资源,且提高了算法的鲁棒性。最后,通过实验验证了本文提出的自适应选择优化策略方法、并行Adaptive Merging算法和多核并行自适应索引优化算法的可行性和有效性。(3)本文利用线程级并行和数据级并行优化哈希连接算法。首先提出了基于多核MapReduce模型的并行哈希连接算法,包括非划分哈希连接和划分哈希连接。其次,本文为并行哈希连接算法提出了一种改进的Cuckoo哈希表,该表由传统的Cuckoo哈希表和链式哈希表组成,通过提升哈希表的读写性能来提升并行哈希连接算法的性能。基于上述成果,本文又提出了几种优化方法,包括:利用SIMD指令优化、多步划分优化、负载平衡优化。最后,通过实验验证了本文提出的优化方法可行有效,实验表明:(1)基于多核MapReduce模型的并行哈希连接算法与前期算法相比,取得较好的效果;(2)在多核处理器环境下,划分哈希连接大部分情况下都优于非划分哈希连接,且当线程数量较大时内存存取成为性能瓶颈;(3)影响哈希连接算法性能的因素包括:哈希表的结构、划分数量、划分次数、线程数量、数据集等。(本文来源于《西安电子科技大学》期刊2016-06-01)

郭宪勇,陈性元,邓亚丹[3](2014)在《基于多核处理器的VTD-XML节点查询执行性能优化》一文中研究指出针对目前主流的多核处理器,研究了基于VTD-XML的节点查询执行性能优化,即基于预读策略从多线程并发执行和提高线程内存访问性能两个方面优化XML节点查询的性能。实验结果表明,提出的多线程XML文档解析框架可以充分利用多核处理器的计算资源,并有效地提高线程的内存访问性能,大大提高了XML节点查询的性能。(本文来源于《计算机科学》期刊2014年02期)

陈文浩[4](2013)在《XQuery查询处理器设计与实现》一文中研究指出随着计算机技术的发展,网络数据量激增,并且格式变得越来越复杂,XML格式的数据应用越来越广泛。而对于支持XML数据的方式,现阶段主要有两种。分别是支持XML的数据库以及专门为支持XML数据而设计的原生XML数据库。这两种方法各有优劣,前者是在传统关系数据库上扩展对XML数据的支持,而后者是利用XML数据的特点专门设计的数据库。一般而言,原生XML数据库对于XML数据的处理会更直接,效率更高一些。但是原生XML数据也存在不少问题,它不像传统的关系数据库那样,有一套完整的查询优化方法。故此,对于原生的XML数据库,我们有必要对其查询优化方法进行研究,提升其查询效率。在本文中,我们介绍了XML相关技术,包括现有的XML查询方法,优化方法以及XML主要的查询语句形式XQuery和XPath等方面的技术。通过分析现有的技术成果以及查询语句的特点,提出了一个XQuery查询处理器设计的方案并对该方案进行了实现。对于一个XQuery查询语句,首先通过转换算法将原来的XQuery查询语句中的查询主体部分提取出来,转换成一个或者多个XPath形式的查询语句,然后将这些XPath形式的查询语句进行等价的查询,获得查询结果。通常的,语句在原生XML数据库中进行查询时,会先得到一个查询计划,我们研究了XPath优化的相关技术,提出了一个基于代价估算的方法,通过一个动态规划的算法使语句的查询计划得到优化,从而提高了查询效率。而为了完成这一优化方法,我们使用了层次编码等相关节点编码以及信息统计的技术。通过相关实验,分析实验结果表明,我们设计的XQuery查询处理器能够有效的提高一个XQuery语句的查询效率。(本文来源于《华南理工大学》期刊2013-11-19)

周茂春,陈叶芳,钱江波,王志杰,董一鸿[5](2012)在《可重构数据流SPJ查询处理器的研究》一文中研究指出数据流的实时处理需要很高的处理速度,一种解决方法是使用协处理器。然而协处理器硬布线是不变的,查询不断变化使其一定时间内综合性能达不到最优。为提高数据流处理速度和资源利用率,采用了可重构的数据流SPJ查询处理器,在具备选择、投影和连接叁种查询模块及相应指令集的基础上,根据输入查询的查询树调用相应的模块自适应对FPGA编程,改变自身的硬布线,实现数据流的处理。通过大量实验验证了处理器不仅正确,而且具备高速度和灵活性。(本文来源于《计算机应用研究》期刊2012年05期)

周茂春[6](2012)在《可重构数据流SPJ查询处理器研究》一文中研究指出越来越多的实时应用需要高速的处理速度,当速度达不到要求时,只能采用降载策略,因此提高处理速度成为很多数据流应用系统的一个关键。随着硬件技术的迅速发展,越来越多的研究人员意识到了硬件技术能够极大的提高数据的处理速度。普通协处理器可用于数据流的处理,但是当查询变化时,其硬布线是不会改变的,这会导致协处理器的综合性能在某个时间区间内不是最优的。因此本文研究设计可重构的处理器来加速数据流的处理,使得处理器的硬布线可以根据查询的变化而变化。本文主要的创新性工作包括以下几个方面:(1)通过分析可重构硬布线的思想,设计了可重构SPJ(select-project-join,即选择、投影和连接)查询处理器的框架。根据这个框架,将注册的查询语句转化为相应的查询树,把查询树的每个节点作为一个原子操作,各原子操作对应一个处理核模块。然后根据查询树调用相应的处理核模块,进行编译执行,并下载到FPGA开发板上。(2)实现了可重构的SPJ查询处理核模块。用硬件语言Verilog HDL实现了选择、投影和连接叁种处理核模块,还设计了各模块相应的指令集。不同查询经过优化和编译,转化为相应的指令序列,在处理核中完成处理,以提供高性能的查询处理并满足不同的连续查询需要。将可重构的SPJ查询处理器与软件方法实现的数据流的SPJ处理进行了比较,实验结果证明了SPJ处理器的高速度与灵活性。(3)连接模块中涉及到多连接区的探测序列优化问题,其实质就是多处理器(独立内存)并发处理环境下多流连接的优化问题,即如何合理安排各条流连接的顺序以提高系统吞吐量。提出两种算法,一种是以最小生成树为启发式规则的启发式调整优化算法;另一种是以贪婪算法为中心思想的静态求解算法。两种算法都是建立在数据流之间连接率保持恒定的前提下。实验结果表明两种算法都能较好的实现提高系统吞吐量的目标。(本文来源于《宁波大学》期刊2012-01-07)

陈虎,李国栋,吴文远,张林亚,奚建清[7](2011)在《多核处理器上列数据库复杂查询的原语级并行性开发》一文中研究指出提升复杂数据库查询性能是数据库研究的重要方向.提出了一个基于向量原语操作的列数据库查询引擎,通过在多核处理器上开发向量原语之间的并行性来提高数据库查询的性能.介绍了该查询引擎中的向量原语设计、列数据文件存储布局、查询的向量操作依赖图、向量操作动态调度器和内存管理器等关键部件.对于TPC-H4个典型复杂查询的测试结果表明:1)数据库复杂查询是典型的计算密集型操作,而且原语之间存在着一定的可并行成分;2)在多核处理器上,该查询引擎可以有效开发向量原语间操作的并行性,性能较单线程执行可以提升1.2倍左右,较MySQL则可以最高提升20倍.(本文来源于《计算机研究与发展》期刊2011年S3期)

左利云[8](2009)在《基于多处理器数据库系统的查询调度算法》一文中研究指出提出一种多重查询调度算法——连续读取特性(CRP)调度算法,该算法应用连续读取特性,使查询的数据可以重组出某些连续关系,从而使之具有连续读取特性,解决了现有算法中有部分系统资源闲置的问题,提高查询速度。仿真实验结果表明,CRP调度算法的系统利用率和系统性能均优于其他算法。(本文来源于《计算机工程》期刊2009年23期)

朱萍,宋杰[9](2009)在《基于查询方式的C8051F处理器SMBus的应用研究》一文中研究指出SMBus由于其引线少,便于布局,在仪器仪表通信中的应用越来越多。在C8051F处理器中,目前所见应用均采用中断处理方式。本文结合测量仪表设计中的应用,通过对在应用中出现的特殊问题的解决,给出了查询方式下使用方法,具有较好的实用价值。(本文来源于《计算机与现代化》期刊2009年11期)

邓亚丹[10](2009)在《面向共享Cache多核处理器的数据库查询执行优化技术研究》一文中研究指出随着硬件技术的飞速发展,内存价格越来越低,大内存容量已成为数据库服务器的标准配置,这在很大程度上缓解了数据库查询执行的磁盘I/O代价,也促进了内存数据库的普及应用,给数据库带来性能提升的同时,也造成了新问题。由于处理器速度增长的速度远大于内存,导致处理器花费大量时间等待数据从内存取到CPU缓存(Cache),内存访问已经成为数据库查询执行的主要代价之一。与此同时,单核处理器的性能提升空间已经十分有限,导致处理器的发展趋势转向多核处理器,多核处理器已经成为处理器市场的主流,并且得到了飞速发展。同样,多核处理器给数据库带来性能提升的同时也带来了挑战。首先,基于单线程模式的查询执行算法使得数据库不能充分利用多核处理器的并行计算资源,其次,多核处理器的核心间一般共享部分资源,比如Cache和内存带宽,在内存访问成为数据库主要代价的前提下,由于多线程同时访问共享Cache造成的共享Cache访问冲突给数据库性能提升带来了较大负面影响,再次,有限的内存带宽和多核处理器各个核心间的负载不均衡也影响了线程的执行效率。因此如果要充分利用共享Cache多核处理器提升数据库性能,既要从多线程并行执行角度优化查询执行的性能,同时也要改善多线程执行时的Cache访问性能,特别是减少共享Cache访问冲突。目前面向多核处理器的数据库查询执行优化研究仍处于初步阶段,存在许多问题亟待解决。数据库查询执行性能优化一直是国内外数据库研究者广泛关注的问题,是数据库领域充满挑战性的一个研究方向,论文的研究目的是面向共享Cache多核处理器优化查询执行的性能。本文在全面分析和总结国内外数据库领域相关研究工作的基础上,针对查询执行在共享Cache多核处理器中面临的性能瓶颈,面向数据库查询执行性能优化的需求,对几类基础的数据库查询操作,比如数据库排序、数据库连接查询和数据库索引的优化技术进行研究。本文的主要工作和创新点包括下面几个方面:(1)提出了基于共享Cache多核处理器的数据库排序多线程执行框架,该框架基于Inplaced Flash QuickSort(IFQS)算法。针对IFQS的叁个执行阶段的数据访问特点,分别提出了各自的多线程执行模式和相应的Cache性能优化措施,特别是减少了共享Cache访问冲突。(2)提出了基于数据划分策略的多线程Hash连接执行框架,该框架采用Radix-Join算法,分为聚集划分和聚集连接两个阶段。通过深入分析多线程Radix-Join算法在共享Cache多核处理器中运行时的性能瓶颈,有针对性地对该框架的性能进行优化。对于聚集划分阶段,提出了一种自适应的多线程聚集划分策略;对于聚集连接阶段,提出了基于聚集大小分类的多线程聚集连接执行策略,并优化了聚集连接时的内存访问。上述优化技术能够较大地减少多线程执行时的共享Cache访问冲突和处理器核心间的负载不均衡,以提高线程的执行效率。(3)针对索引嵌套循环连接,提出了共享Cache敏感的索引嵌套循环连接多线程执行框架(SCS-INLJPEF)。SCS-INLJPEF采用流水线式多线程执行模式,根据查询执行计划中的数据操作节点合理设置流水线中的操作,提出了共享Cache敏感的缓存结构用于管理SCS-INLJPEF中的各种缓存,并给出了SCS-INLJPEF执行时的内存访问代价模型,然后根据该模型在流水线的各个操作间合理分配处理器计算资源,达到减少处理器核心间负载不均衡和改善线程Cache访问性能的目的。(4)针对无索引的嵌套循环连接,提出了基于数据划分策略的嵌套循环连接多线程执行框架,该框架采用Radix-Join算法中的数据划分策略,同样分为聚集划分和聚集连接两个阶段。针对聚集划分阶段,通过设置合理的聚集划分线程启动时机减少共享Cache访问冲突;针对聚集连接阶段Cache访问性能较差的缺点,利用每个聚集数据量很小的特点和聚集连接线程顺序访问聚集带来的优势,提出了多线程聚集连接执行策略,利用预取线程改善聚集连接线程Cache性能,并通过合理设置预读线程参数使该框架适应于不同的处理器核心数,并减少共享Cache访问冲突。(5)将流水线式多线程执行模式用于索引访问性能优化,提出了CSB+-Trees多线程访问模块(CSBT-MAM)。CSBT-MAM基于CSB+-Trees的树结构层次设置流水线中的操作,通过分析CSBT-MAM的处理流程,给出了其内存访问模型,然后基于该模型合理划分CSB+-Trees中的节点,设置流水线中操作的数量和对应的工作集,达到改善索引访问线程Cache性能的目的,并根据该节点划分分配处理器的计算资源,最后将CSBT-MAM用于SCS-INLJPEF的进一步优化。(本文来源于《国防科学技术大学》期刊2009-10-01)

查询处理器论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

随着信息技术的快速发展,各类数据呈爆炸式的增长,数据库系统成为近年来计算机领域的热点研究方向。目前对于数据库系统的研究主要包括:查询执行、查询优化以及数据存储。查询执行是数据库系统的核心部分,包含各种数据库的基本操作,有重要的研究意义。随着半导体技术的发展,单核处理器的性能提升空间十分有限,多核处理器的快速发展,已经成为处理器市场的主流。除此之外,存储器的容量也越来越大,价格越来越便宜,数据库系统中全部数据或者大部分数据放入内存已成为可能。内存数据库的兴起,使研究人员将研究的重点放到了提升数据库算法的运算效率以及提升内存存取效率上,而不再关注硬盘的存取效率。尽管近年来在多核内存数据库查询执行优化技术领域的研究不断取得新的进展,但在利用多核处理器并行资源对一些数据库基本操作进行优化方面,存在有待提高和完善之处。结合目前数据库查询执行领域的研究成果,针对一些数据库基本操作存在的不足,本文利用多核处理器的并行资源对内存数据库中哈希划分算法、自适应索引算法、哈希连接算法进行了优化,其主要工作概括如下:(1)本文总结了多核处理器中解决线程之间冲突的常用方法,这些方法包括:加锁策略、独立空间策略、两次遍历策略,以及并行缓存策略,并分析了这些方法各自的优缺点。在此基础上,针对目前并行哈希划分算法存在的问题,应用和提出了多种改进方法。其中,软件合并写优化先将数据放入较小的缓存区中,当缓存区放满后再放入最终划分结果中,这样可以有效地降低TLB miss数量;绕过缓存优化通过non-temporal writing操作将短期内不再使用的数据直接写入相应的内存地址中,避免通过缓存,提高写操作效率;改进的哈希表支持内存动态分配,保证能够使用软件合并写优化和绕过缓存优化的同时,提高了存取效率,降低了初始化开销;负载均衡优化使得该算法能够适应有倾斜的输入数据。通过实验分析,本文使用的优化方法能够有效地提高并行哈希算法的效率,并使之适应有倾斜的数据样式。(2)本文总结了现有的各种自适应索引算法,并分析其优缺点。在此基础上提出了一种自适应选择优化策略的方法,该方法可以通过划分位置、查询选择率来自动选择优化策略,提升自适应索引算法的效率。除此之外,该方法能根据数据块的查询次数,动态地调整Buffered-swapping Cracking算法中堆结构的大小,提升该算法效率。其次,在原有Adaptive Merging算法的基础上,提出了多核并行Adaptive Merging算法。该方法通过并行排序算法实现了索引结构的初始化,利用线程级并行和基数排序的方法实现了查询语句的执行和索引结构的优化。然后,又研究了多核并行自适应索引算法的优化技术,将加锁并行方法与改进的PartitionMerge算法相结合,在索引中数据块较少时,使用改进的Partition Merge算法,降低线程之间冲突的概率,减少线程等待时间,提高线程利用率;当索引中数据块较多时,使用加锁并行方法,充分利用了多核处理器的并行资源,且提高了算法的鲁棒性。最后,通过实验验证了本文提出的自适应选择优化策略方法、并行Adaptive Merging算法和多核并行自适应索引优化算法的可行性和有效性。(3)本文利用线程级并行和数据级并行优化哈希连接算法。首先提出了基于多核MapReduce模型的并行哈希连接算法,包括非划分哈希连接和划分哈希连接。其次,本文为并行哈希连接算法提出了一种改进的Cuckoo哈希表,该表由传统的Cuckoo哈希表和链式哈希表组成,通过提升哈希表的读写性能来提升并行哈希连接算法的性能。基于上述成果,本文又提出了几种优化方法,包括:利用SIMD指令优化、多步划分优化、负载平衡优化。最后,通过实验验证了本文提出的优化方法可行有效,实验表明:(1)基于多核MapReduce模型的并行哈希连接算法与前期算法相比,取得较好的效果;(2)在多核处理器环境下,划分哈希连接大部分情况下都优于非划分哈希连接,且当线程数量较大时内存存取成为性能瓶颈;(3)影响哈希连接算法性能的因素包括:哈希表的结构、划分数量、划分次数、线程数量、数据集等。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

查询处理器论文参考文献

[1].叶苗.多核处理器下SKLOIS多级安全数据库查询方法研究[J].科学技术与工程.2017

[2].袁通.基于多核处理器的内存数据库查询执行优化研究[D].西安电子科技大学.2016

[3].郭宪勇,陈性元,邓亚丹.基于多核处理器的VTD-XML节点查询执行性能优化[J].计算机科学.2014

[4].陈文浩.XQuery查询处理器设计与实现[D].华南理工大学.2013

[5].周茂春,陈叶芳,钱江波,王志杰,董一鸿.可重构数据流SPJ查询处理器的研究[J].计算机应用研究.2012

[6].周茂春.可重构数据流SPJ查询处理器研究[D].宁波大学.2012

[7].陈虎,李国栋,吴文远,张林亚,奚建清.多核处理器上列数据库复杂查询的原语级并行性开发[J].计算机研究与发展.2011

[8].左利云.基于多处理器数据库系统的查询调度算法[J].计算机工程.2009

[9].朱萍,宋杰.基于查询方式的C8051F处理器SMBus的应用研究[J].计算机与现代化.2009

[10].邓亚丹.面向共享Cache多核处理器的数据库查询执行优化技术研究[D].国防科学技术大学.2009

论文知识图

空间查询的处理步骤[162]产品信息集成中间件层工作机制a.全局...并行多查询处理器的结构全局查询处理器流程处理查询处理器组成结构示意图对象查询处理器的结构

标签:;  ;  ;  ;  ;  ;  ;  

查询处理器论文_叶苗
下载Doc文档

猜你喜欢