导读:本文包含了分布式并行计算论文开题报告文献综述、选题提纲参考文献，主要关键词:分布式,算法,数据,网络,超声,模拟器,高性能。
分布式并行计算论文文献综述写法
[1]（2019）在《2019年第20届并行与分布式计算、应用和技术国际会议(PDCAT)》一文中研究指出并行与分布式计算、应用和技术国际会议(PDCAT)是世界各地的科学家、工程师和从业者展示在并行和分布式计算各领域的最新研究、成果、想法、进展和应用的一个重要论坛。PDCAT于2000年在香港举办首届,至今已经在中国、日本、新加坡、澳大利亚、新西兰、韩国等亚洲和大洋洲(本文来源于《西安电子科技大学学报》期刊2019年03期）
闵瑞高[2]（2019）在《基于分布式并行计算的高性能演化算法研究》一文中研究指出随着互联网和计算机的普及,人类社会已经进入了信息化时代。伴随着社会的发展,问题规模也逐渐增大,许多实际问题也随之成为大规模优化问题。然而随着问题规模的增大、决策变量的增多,“维度灾难”使很多传统问题的解决方法难以奏效。演化算法作为经典的启发式算法,有着易理解、收敛速度快、搜索能力强的特性,在解决低维小规模问题上表现优异,然而随着问题规模扩大之后,演化算法也同样出现了搜索性能会急剧下降的问题。面对这种情况,当前一种较为流行的解决方案是将合作协同进化框架与演化算法相结合,将大规模优化问题分解为多个规模较小的子问题,取得了非常不错的优化结果。其算法求解过程可以分为问题分解、子问题优化、整合优化结果叁个阶段。大规模优化问题由于其问题的复杂性,其整体求解过程是一个非常耗时的漫长过程。目前,关于如何改进算法以提高问题优化结果的研究有很多,而对于如何降低各个阶段的求解时间、提升大规模优化问题求解效率的研究则非常有限。本文以大规模优化问题为研究对象,采用改进的差分分组算法(Differential Grouping 2,DG2)作为问题的分解方法,合作协同量子行为粒子群优化算法(Cooperative Coevolution Quantun-behaved Particle Swarm Optimization,CCQPSO)作为问题求解阶段的优化算法,通过分析DG2算法的并行化可行性,借助协同进化算法和量子行为粒子群优化算法的天然并行性,实现了大规模优化问题在分解阶段、子问题优化阶段的并行化。本文的主要工作有:1)研究了在共享内存模型中基于OpenMP实现的并行DG2分组算法(Parallel Differential Grouping 2,P-DG2),该算法借助OpenMP框架,将传统的串行DG2分组算法进行并行化改进,使之更加符合并行化程序理念,实现了任意多核的并行加速计算。在IEEE CEC’2013 LSGO测试函数上的实验结果表明,P-DG2算法在不影响分组结果和精度的情况下,有效减少了算法在分组阶段的运行时间,取得了良好的加速比和效率性能。2)研究了在消息通信模型中基于MPI的并行协同进化量子行为粒子群优化算法(Parallel-Cooperative Coevolution Quantun-behaved Particle Swarm Optimization,PCCQPSO)及其相关的改进策略。算法从建立拓扑模型结构切入,采用粗粒度的策略,将协同进化与MPI的进程并行相结合,保证算法的收敛效果。同时,对算法进行进一步改进,引入二次分组策略和邻域通信策略,提升算法的整体性能。实验表明,并行化改进之后的算法在大规模优化问题上具有更好的优化结果。3)研究了演化算法在国产超级计算机神威·太湖之光的并行化,国产CPU采用主从核的构造,计算采用核间并行MPI+核内并行OpenACC(进程并行+线程并行)的方式。在这种混合并行计算模型的框架下,研究了传统演化算法和CCQPSO算法在解决高维度问题情况下的表现,实验表明CCQPSO的性能通过大规模并行得到了进一步的提升,且具有非常好的并行可扩展性。本论文通过结合演化算法和并行计算的一些特性,借助合作协同进化框架,对利用演化算法求解大规模优化问题的分组、求解、计算阶段进行了并行化处理,同时分析了其并行化之后的效率和加速比表现。实验结果表明,并行化之后的结果在保证正确性的同时,极大减少了算法执行的时间,在1000维的大规模优化问题上表现出了良好的性能。同时,在部分问题上,基于分解策略的并行化会提高算法的优化性能,可以同时促进加速和结果的优化。此外,通过在超级计算机神威太湖之光的大规模并行来看,演化算法的分布式并行仍然具有非常好的性能表现,在求解大规模优化问题上仍然有许多非常值得研究的工作。(本文来源于《江南大学》期刊2019-06-01）
龚永罡,田润琳,廉小亲,吴萌[3]（2019）在《基于分布式内存计算的叁元N-gram算法的并行化研究》一文中研究指出面对新媒体平台每日高达百万篇需处理的语料信息,提出了基于分布式内存计算模型的叁元N-gram并行化算法的思想,基于分布式内存计算模型并行训练叁元N-gram的算法,将数据信息和运算逻辑存储于内存中,有效缩减了Mapper到Reducer之间的传输的中间数据过程,减少了读写操作。在应用此算法对大规模语料库进行训练之后,结果表明此类算法对海量数据的处理能够发挥理想的效果,很大程度上解决了传统算法在处理海量数据集计算时间过长的问题。(本文来源于《计算机产品与流通》期刊2019年03期）
翁业林,蒋道霞,俞新华[4]（2018）在《基于分布式并行计算的大数据自助分析系统的研究与应用》一文中研究指出大数据一旦进入更多的企业,我们就会对大数据提出更多期望,除了数据统计,大数据时代还需要智能化分析,打破IT的约束,需要探索最高效的方式,快速抢占数据制高点。本文通过对某公司的分布式并行计算下数据自助分析平台中的应用方案进行研究与应用,提出在自助分析系统中对海量数据处理的思路,对分布式并行计算和分布式通信进行了重点分析,同时结合自助分析系统的功能特点,给出系统部署的应用建议。研究内容对于分布式计算在大数据决策分析系统的落地具有一定的实用价值。(本文来源于《软件》期刊2018年12期）
黄丽丽[5]（2018）在《基于分布式并行计算的配电网可靠性评估技术研究》一文中研究指出随着安全、可靠、智能的坚强电网建设的不断推进,作为电力输送至用户的最后环节,配电网的可靠性已逐渐成为决定整个电网供配电能力的关键因素。开展对可靠性的评估工作,可以帮助电力公司及时发现配电网的薄弱环节,对指导配电系统的规划设计和改造升级工作具有重要的理论和实践意义。因此,研究一种计算性能高且分析过程贴合实际电网运行情况的可靠性评估方法显得极为必要。本文在传统配电网可靠性评估方法的基础上,结合开关元件的动作特点,对网络进行负荷分块和虚拟节点划分等简化处理,在此基础上,提出了不计备用约束和考虑备用优选两种场景下的可靠性评估流程,在后者的分析中引入了台区配变负荷精细化预测结果,实现了负荷未来态下的可靠性评估。论文的具体工作如下:(1)提出了基于Apache Spark计算框架的台区配变负荷精细化预测技术。首先,建立了包含温度、湿度、日类型等因素及负荷时间序列的动态贝叶斯网络,作为台区负荷预测模型。其次,为解决基于海量数据的模型参数计算及大规模配变负荷预测的并行化问题,本文搭建了基于Hadoop和Spark的分布式计算平台,利用Spark GraphX的Vertex Cut和并行边检索快速计算概率矩阵,以Pregel计算模型并行处理前向-后向算法,实现预测方法的分布式集群计算,保证全局预测任务的并行化。(2)提出了基于负荷分块和虚拟节点划分的配电网可靠性评估技术,并给出了基于Pandapower的配电网拓扑数据的等价转换方法。基于配电网开关元件的操作特点,对网络进行馈线分域、负荷分块及虚拟节点划分,从而简化含多负荷分支的复杂配电网,以虚拟节点的最小割集求取代替了全网负荷点的割集求取,有效减少了计算量。同时Pandapower强大的图搜索功能也为基于图结构分析的最小割集算法提供了支撑。(3)在转备用时引入配变负荷预测结果,并基于对线路容量、备用裕度等约束条件的分析,提出了考虑备用电源优选的配电网可靠性评估方法。在虚拟节点割集信息的基础上,以N-1原则分析各故障状态下的开关动作共同影响模式,确定负荷的最优备用电源和停电情况,统计得到停电时间。最后基于Spark中的Transformation-Action算子完成对不计备用约束和考虑备用优选的负荷未来态下的可靠性计算过程的并行处理。根据本文所提的可靠性评估方法的并行化实现流程,分别对不计备用约束和考虑备用优选两种情况下的配电网进行了可靠性评估,通过对实验结果的分析验证了本文方法的合理性及有效性,且基于Spark的可靠性并行化计算的确带来了性能的极大提升,在日益增大的配电网规模面前,具有广阔的应用前景。(本文来源于《东南大学》期刊2018-05-28）
宋超[6]（2018）在《基于Memetic算法和Spark分布式并行计算的社交网络影响最大化研究》一文中研究指出随着互联网技术的发展和大数据时代的到来,社交网络已逐渐成为人们进行信息交互和分享的主要媒介。近年来,越来越多的商家和企业开始利用社交网络进行产品推广和宣传。这种新型的营销模式往往能够以更低的成本带来更好的营销效果。影响最大化问题旨在从社交网络中挖掘出一定数量的有影响力的个体并作为信息的传播源,使信息在整个网络中的影响传播范围达到最大。除了在社交网络信息传播研究领域之外,影响最大化问题还被应用于舆论传播监控和传染病防疫等领域。近年来,越来越多的学者投身到影响最大化问题的研究当中,并提出了许多解决方法。这些算法大致可以分为以下叁类:基于爬山机制的贪婪算法及其改进算法;基于社交网络特性的启发式算法;基于目标函数的优化算法。其中,贪婪算法及其改进算法具有较高的准确率,但是其运行效率较低,不适合求解大规模社交网络的影响最大化问题。相反,启发式算法具有很高的运行效率,但是在准确度和稳定性方面这些算法表现欠佳。针对上述影响最大化问题及现有算法存在的不足,本文的主要从以下几个方面对社交网络影响最大化问题进行了研究:本文创新性地提出了一种基于社区划分和Memetic算法的社交网络影响最大化算法。该算法充分利用社交网络的社区结构特性,通过对重要社区和候选节点的筛选,有效地缩小了初始激活节点的选择空间,提升了算法的运行效率。同时,该算法利用Memetic算法对二级邻域影响传播函数进行优化。为了有效地解决初始激活节点之间影响传播范围的重迭问题,该算法提出了节点度相似性的概念,并将此策略运用到Memetic算法的初始化、交叉、变异和局部搜索操作中。通过在真实网络中的对比实验可以证明,该算法不仅可以有效地解决社交网络影响最大化问题,而且具有较好的运行效率。为了应对超大规模社交网络带来的挑战,本文在Spark计算平台的基础上提出了一种用于解决社交网络影响最大化问题的分布式并行算法框架。该算法利用Spark GraphX分布式并行图计算框架对上文提出的算法进行了实现与改进。该分布式并行算法借鉴并行遗传算法的思路,在算法中设计了迁移算子,这一创新性的改进不仅有效地避免了子种群的未成熟收敛,而且提升了算法的准确度和运行效率。通过在超大规模网络上的实验,证明了该分布式并行算法能够在可以接受的时间范围内有效地解决超大规模社交网络的影响最大化问题,为大数据时代下对超大规模社交网络进行研究提供了借鉴。(本文来源于《西安电子科技大学》期刊2018-04-01）
付周望[7]（2018）在《分布式并行计算框架的shuffle优化》一文中研究指出大数据时代的到来使得分布式计算变得越来越普及。为了快速地处理大规模的数据,有大量复杂的分布式并行计算框架被设计并使用,比如Hadoop MapReduce~([1]),Spark~([2]),Dryad~([3]),Tez~([4])等。这些分布式计算框架大多采用将用户计算逻辑用有向无环图(Directed Acyclic Graph,DAG)的方式呈现出来。在执行DAG的每一个计算阶段时,这些计算框架大多采用了整体同步并行计算模型(Bulk-Synchronous Parallel,BSP)来对大数据进行分布式的并行批处理。在这些相邻的计算阶段之间,shuffle,或者说跨网络的多对多分块数据的读写满足了计算逻辑对于不同数据的依赖。与此同时,shuffle的过程也带来了大量的网络数据传输。受限于计算任务对于数据的依赖和本身低效率的设计实现,shuffle过程会给计算任务的性能带来巨大损失。尤其是在一些需要大量shuffle数据的情境中,shuffle的开销甚至会成为整个应用的性能瓶颈。更重要的是,这个问题在大多数分布式并行计算框架中都普遍存在。为了提供一种具有普遍意义的shuffle优化方案,本研究抽取了这些系统在shuffle设计中存在的一些共性问题:1)粗粒度的硬件资源管理降低了资源的利用率和复用率。2)同步滞后的shuffle读取既增加了计算任务执行时对shuffle网络传输的显式等待时间,又给网络带来一个瞬时的流量高峰。针对以上问题,本文提出了S(huffle)Cache—一个开源的即用型系统来优化DAG计算过程中的shuffle阶段。通过在计算阶段真正执行前提取表达计算逻辑的DAG以及其中的shuffle依赖关系,SCache可以将shuffle过程从DAG计算过程中独立出来,从而提供更细粒度的硬件资源管理。与此同时,SCache通过提前异步的shuffle传输来解决目前同步滞后的shuffle读取过程。此外,SCache还利用内存来实现对shuffle数据的缓存,进一步提升shuffle过程的效率。为了实现以上的优化目标,本研究做出了以下主要贡献:1.将shuffle过程从计算过程中解耦,使得shuffle过程独立到外部进行管理,从而实现了更细粒度的硬件资源管理。2.结合应用的上下文对shuffle数据进行预取,既避免了同步数据读取给网络带来的压力,又能将大部分网络传输时间隐藏到计算阶段。3.结合应用的上下文对shuffle数据进行内存缓存,进一步提升shuffle过程的效率。4.根据现有的分布式计算框架shuffle的特点设计了相应的接口(API)。通用的接口设计使得优化能被应用到不同的分布式并行计算框架当中。基于以上阐述,本研究课题实现了SCache,同时修改了Apache Spark~([2])对SCache进行适配。并且通过仿真实验和Amazon AWS EC2集群上大规模数据测试来验证其优化效果。在不同的数据集和测试程序的测试中,SCache能减少将近89%的shuffle开销。在TPC-DS的测试中,SCache的优化能给分布式SQL查询带来平均大约40%的性能提升。(本文来源于《上海交通大学》期刊2018-01-01）
张付良,彭博[8]（2017）在《Field Ⅱ超声模拟器的并行与分布式计算研究》一文中研究指出基于空间冲激响应的Field Ⅱ软件是目前最广泛使用的超声模拟器,尤其是在各种医学超声成像技术的研究上。为了提高Field Ⅱ模拟超声成像的速度,充分利用当前多核与分布式计算资源,本文研究利用Matlab并行工具箱及分布式计算服务器来实现基于Field Ⅱ的并行与分布式超声成像模拟。在这个平台上,可以确保不同扫描线的模拟工作可以自动划分到不同的计算节点或计算核上。通过与原始的只能单线程执行的Field Ⅱ对比,无论是采用线阵探头还是相控阵探头,本文方法仅仅需要添加少量的代码就可以在多节点的计算机集群或多核计算机上实现快速的超声信号模拟。实验结果显示,当利用线阵探头扫描一个具有10万散射子的数字体模时,利用32个计算核它可以在145秒内模拟64条扫描线;当利用相控阵探头扫描一个具有100万散射子的数字体模时,利用32个计算核它可以在4910秒内模拟128条扫描线,对应的加速比分别为22和25.5。(本文来源于《科研信息化技术与应用》期刊2017年06期）
张冶,高曦莹,李广翱,闫美辰,关艳[9]（2017）在《基于云平台并行分布式计算对电力采集业务性能提升的研究》一文中研究指出随着电力营销信息化建设的深入和用户采集覆盖规模的扩大,采集系统作为公司用户电能数据支撑平台的作用愈发突出,目前已为安质、运检、运监、发策信息等多专业16个系统提供数据支撑。为适应"大营销"体系建设需要,加快实现采集系统在数据共享、数据安全、存储策略、功能应用、性能指标等方面的优化提升,进一步加强对营销实时费控、海量数据平台、营销基础数据平台、国网统一客户服务中心平台、电能质量平台的支撑,以国网发布的《用电信息采集系统主站扩容及功能升级可研编制的原则》为依据,进行基于云平台并行分布式计算对电力采集业务性能提升的研究。(本文来源于《2017智能电网发展研讨会论文集》期刊2017-07-25）
屈志坚,王冬[10]（2017）在《分布式配电网监测的流计算实时并行处理技术》一文中研究指出针对配电网大量实时监测数据先存储后处理造成延迟大的问题,提出一种基于Storm分布式流计算框架的监控信息流快速处理方法。结合流计算和全分布式内存计算优势,利用拓扑组件的并行编程模型和流计算节点集群,设计监测数据流拓扑实例,实现配电网监控信息的流计算集群处理。以铁路10 k V配电网监控系统为算例,对不同喷嘴、螺栓组件构成的拓扑实例进行集群测试,验证了先计算后存储的流计算可以提高调度监控实时处理效率。结果表明:集群环境下,拓扑实例的拓扑组件输出结果正确,在数据存储之前进行内存计算可使监测数据平均处理延时控制在百毫秒级内。(本文来源于《电力系统及其自动化学报》期刊2017年07期）
分布式并行计算论文开题报告范文
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
随着互联网和计算机的普及,人类社会已经进入了信息化时代。伴随着社会的发展,问题规模也逐渐增大,许多实际问题也随之成为大规模优化问题。然而随着问题规模的增大、决策变量的增多,“维度灾难”使很多传统问题的解决方法难以奏效。演化算法作为经典的启发式算法,有着易理解、收敛速度快、搜索能力强的特性,在解决低维小规模问题上表现优异,然而随着问题规模扩大之后,演化算法也同样出现了搜索性能会急剧下降的问题。面对这种情况,当前一种较为流行的解决方案是将合作协同进化框架与演化算法相结合,将大规模优化问题分解为多个规模较小的子问题,取得了非常不错的优化结果。其算法求解过程可以分为问题分解、子问题优化、整合优化结果叁个阶段。大规模优化问题由于其问题的复杂性,其整体求解过程是一个非常耗时的漫长过程。目前,关于如何改进算法以提高问题优化结果的研究有很多,而对于如何降低各个阶段的求解时间、提升大规模优化问题求解效率的研究则非常有限。本文以大规模优化问题为研究对象,采用改进的差分分组算法(Differential Grouping 2,DG2)作为问题的分解方法,合作协同量子行为粒子群优化算法(Cooperative Coevolution Quantun-behaved Particle Swarm Optimization,CCQPSO)作为问题求解阶段的优化算法,通过分析DG2算法的并行化可行性,借助协同进化算法和量子行为粒子群优化算法的天然并行性,实现了大规模优化问题在分解阶段、子问题优化阶段的并行化。本文的主要工作有:1)研究了在共享内存模型中基于OpenMP实现的并行DG2分组算法(Parallel Differential Grouping 2,P-DG2),该算法借助OpenMP框架,将传统的串行DG2分组算法进行并行化改进,使之更加符合并行化程序理念,实现了任意多核的并行加速计算。在IEEE CEC’2013 LSGO测试函数上的实验结果表明,P-DG2算法在不影响分组结果和精度的情况下,有效减少了算法在分组阶段的运行时间,取得了良好的加速比和效率性能。2)研究了在消息通信模型中基于MPI的并行协同进化量子行为粒子群优化算法(Parallel-Cooperative Coevolution Quantun-behaved Particle Swarm Optimization,PCCQPSO)及其相关的改进策略。算法从建立拓扑模型结构切入,采用粗粒度的策略,将协同进化与MPI的进程并行相结合,保证算法的收敛效果。同时,对算法进行进一步改进,引入二次分组策略和邻域通信策略,提升算法的整体性能。实验表明,并行化改进之后的算法在大规模优化问题上具有更好的优化结果。3)研究了演化算法在国产超级计算机神威·太湖之光的并行化,国产CPU采用主从核的构造,计算采用核间并行MPI+核内并行OpenACC(进程并行+线程并行)的方式。在这种混合并行计算模型的框架下,研究了传统演化算法和CCQPSO算法在解决高维度问题情况下的表现,实验表明CCQPSO的性能通过大规模并行得到了进一步的提升,且具有非常好的并行可扩展性。本论文通过结合演化算法和并行计算的一些特性,借助合作协同进化框架,对利用演化算法求解大规模优化问题的分组、求解、计算阶段进行了并行化处理,同时分析了其并行化之后的效率和加速比表现。实验结果表明,并行化之后的结果在保证正确性的同时,极大减少了算法执行的时间,在1000维的大规模优化问题上表现出了良好的性能。同时,在部分问题上,基于分解策略的并行化会提高算法的优化性能,可以同时促进加速和结果的优化。此外,通过在超级计算机神威太湖之光的大规模并行来看,演化算法的分布式并行仍然具有非常好的性能表现,在求解大规模优化问题上仍然有许多非常值得研究的工作。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
分布式并行计算论文参考文献
[1]..2019年第20届并行与分布式计算、应用和技术国际会议(PDCAT)[J].西安电子科技大学学报.2019
[2].闵瑞高.基于分布式并行计算的高性能演化算法研究[D].江南大学.2019
[3].龚永罡,田润琳,廉小亲,吴萌.基于分布式内存计算的叁元N-gram算法的并行化研究[J].计算机产品与流通.2019
[4].翁业林,蒋道霞,俞新华.基于分布式并行计算的大数据自助分析系统的研究与应用[J].软件.2018
[5].黄丽丽.基于分布式并行计算的配电网可靠性评估技术研究[D].东南大学.2018
[6].宋超.基于Memetic算法和Spark分布式并行计算的社交网络影响最大化研究[D].西安电子科技大学.2018
[7].付周望.分布式并行计算框架的shuffle优化[D].上海交通大学.2018
[8].张付良,彭博.FieldⅡ超声模拟器的并行与分布式计算研究[J].科研信息化技术与应用.2017
[9].张冶,高曦莹,李广翱,闫美辰,关艳.基于云平台并行分布式计算对电力采集业务性能提升的研究[C].2017智能电网发展研讨会论文集.2017
[10].屈志坚,王冬.分布式配电网监测的流计算实时并行处理技术[J].电力系统及其自动化学报.2017