导读:本文包含了并行任务调度论文开题报告文献综述、选题提纲参考文献及外文文献翻译，主要关键词:算法,多核,阈值,粒度,作业,相关性,构图。
并行任务调度论文文献综述
冯晨微,王艳[1]（2019）在《云制造系统并行任务优化调度》一文中研究指出为解决同类型任务在云制造系统中并行执行时资源需求不均衡以及资源的利用率不高的问题。建立了以成本最低化、时间最小化、可靠度最高化、质量最优化为目标的任务资源调度模型。采用基于参考点的非支配排序遗传算法(NSGA-Ⅲ),结合实数矩阵编码方式以及基于实数编码的交叉变异策略代替普通的进化策略对模型进行求解,使用基于层次分析法和熵值法的组合优化决策方法对结果进行评价。分别讨论了资源充足和资源受限时调度系统的性能,通过实例证明该方法是可行的。(本文来源于《系统仿真学报》期刊2019年12期）
孟现粉,花嵘,傅游[2]（2019）在《网格应用的DAG任务调度系统的并行构图方法》一文中研究指出为使AceMesh任务调度系统在多核系统上获得更好的性能,研究并行构图方法,在一定程度上提高构图的效率。为实现构图的并行化,设计线程分离、数据区域二级划分及两种任务注册的方案;为保证构建的DAG图的正确性,采用地址分治和任务分治的策略;为确保能执行所有的任务,对构图任务和计算任务分别使用安全的终止检查方法。对网格应用采用大规模数据集测试,与串行构图的比较结果表明了并行构图方法有最高158%的性能提升。(本文来源于《计算机工程与设计》期刊2019年08期）
李于锋,莫则尧,肖永浩,熊敏[3]（2019）在《并行任务图的优化调度算法》一文中研究指出科学与工程计算中的很多复杂应用问题需要使用科学工作流技术,超算领域中的科学工作流常以并行任务图建模,并行任务图的有效调度对应用的高效执行有重要意义。给出了资源限制条件下并行任务图的调度模型;针对Fork-Join类并行任务图给出了若干最优化调度结论;针对一般并行任务图提出了一种新的调度算法,该算法考虑了数据通信开销对资源分配和调度性能的影响,并对已有的CPA算法在特定情况下进行了改进。通过实验与常用的CPR和CPA算法做比较,验证了提出的新算法能够获得很好的调度效果。本文提出的调度算法和得到的最优调度结论对工作流应用系统的高性能调度功能开发具有借鉴意义。(本文来源于《计算机工程与科学》期刊2019年06期）
汪丽娟[4]（2019）在《Flink下的K-Means优化并行与任务调度研究》一文中研究指出K-Means作为机器学习算法的典型代表,在大数据背景下的应用十分广泛,但其存在随机选取初始质心导致的局部最优解、大数据规模下迭代次数多、计算耗时长、准确率低等问题。在大数据背景下,基于大数据计算框架的机器学习算法优化与应用研究已成为研究热点问题,当前很多大数据计算框架都包含机器学习库,且随着实时搜索引擎、社交软件等应用的出现,数据实时处理日益成为学者们的研究热点,传统的先存储后计算的批量计算理念已经不再适用于实时流数据的处理,因此如何构造高吞吐、低延迟的大数据流式计算框架成为亟待解决的关键问题。基于上述存在的问题,本研究从基于Flink平台的K-Means算法的优化、并行化加速以及Flink平台的任务调度策略方面进行研究。具体研究内容可概括如下:(1)为解决大数据规模下K-Means存在选取质心导致的局部最优解、聚类速度慢的问题,提出一种Flink平台下的CK-Means聚类优化及并行策略。从算法优化层面,采用Canopy算法确定聚类数目k并选取初始质心;从并行化加速层面,基于Flink平台设计了一种面向CK-Means的并行加速策略,并分析不同并行度对计算耗时的影响。经试验,相较K-Means算法,CK-Means算法的准确率与迭代次数间的比值更高,算法性能更优;不同并行度下的CKMeans算法的聚类耗时呈现先下降后上升的趋势,其聚类耗时的最小值与数据集的大小相关。(2)为提高K-Means算法的聚类速度和准确率,提出了基于k-d树分区的K-Means并行化加速策略。从算法优化层面,选择数据集中相距最远的k个点优化初始质心;从任务并行化加速层面,提出k-d树分区算法对数据集进行划分并实现任务并行化;从执行环境并行化加速层面,设置不同进程数目与CPU核数验证F-KMeans的加速效果。(3)为了提高Flink计算框架的资源利用率,提出了基于Flink流式计算环境下资源感知任务调度策略。针对Flink平台下先来先服务任务调度算法忽略了任务资源需求与节点可用资源之间的关系,导致不同节点任务负载不均,从而影响系统吞吐量的问题,提出了基于Flink流式计算环境下资源感知任务调度策略。首先,以GlobalState模块监测的资源数据为依据,考虑任务资源需求与节点可用资源间的匹配关系,提出一种任务选择算法与节点选择算法选取待执行任务与最佳调度节点;其次,通过资源感知调度策略把待执行任务调度至最佳调度节点;最后,通过设计实验验证了算法的有效性。(本文来源于《新疆大学》期刊2019-05-01）
段菊[5]（2019）在《云环境下基于通信开销的并行任务调度策略》一文中研究指出云环境下,任务的执行效率受限于任务间的通信时间和计算时间,通信时间是由于数据跨数据中心传输产生的,计算时间与任务所在集群的计算能力有关,有效减少任务因等待数据的到来而产生的时间开销可提高任务的执行效率,进而降低用户租赁云资源的费用,提出基于任务复制的调度策略,以提高任务的并行性。经性能分析,该策略在提高任务的执行效率方面有一定的贡献。(本文来源于《电脑知识与技术》期刊2019年10期）
陈楠[6]（2019）在《线程级多任务并行动态调度研究》一文中研究指出随着半导体工艺技术的快速发展,集成电路的规模越来越大,传统的单核系统设计不再满足设计要求,多核技术成为当今处理器发展的主要方向。多核系统拥有众多的计算核心,通过将计算任务分配给不同的处理核心可以大幅提高计算性能,因此如何合理高效进行任务调度,确保全部处理核心处于有效工作状态是当今多核系统研究的一个重要方向。多核任务调度的关键难点在于发掘任务并行性,超标量技术和多线程技术是当今高性能处理器开发指令并行性的主流技术,本文借鉴指令并行思想,结合多核系统中任务的粗粒度特性,给出了一种新型的粗粒度多线程多核体系结构,在传统多核架构中增加控制处理器,控制处理器利用多线程和乱序多发射思想提取任务的并行性,将可并行的任务发射到不同处理核心执行,提高处理核心的利用率。论文的主要工作如下:首先介绍了粗粒度多线程多核体系结构系统模型,将系统的任务执行指令化,给出了一种“线程指令+任务指令+底层指令”的层次化编程方法,使得控制和计算分离,降低用户编程难度。其次研究了任务并行化方法,分析指令级并行和任务级并行的区别,分析任务级应用多线程技术和乱序执行技术所面临的问题,并针对任务的粗粒度特性提出了任务级多线程取指策略、资源分配策略和线程切换机制。再次对论文所提出的多线程控制处理器进行设计实现,介绍和分析了各关键模块的设计原理和实现方案,同时在控制处理器中加入资源管理机制实现资源的动态分配,提高资源利用率。最后,论文将设计的控制处理器集成到目标多核系统中,进行测试和性能评估,通过加载不同的任务指令验证了控制处理器的正确性,并提出了进一步优化的方向。(本文来源于《合肥工业大学》期刊2019-04-01）
赵星光[7]（2019）在《边缘计算环境下的并行任务调度算法研究》一文中研究指出随着互联网与大数据技术的快速发展,边缘计算这一新技术不断融入到人们的生活中。在边缘计算的场景下,用户可以将自身设备上的任务卸载到附近边缘云上去处理,来获得低延迟、高效率的服务。如何对卸载到边缘云上的任务进行高效,可靠地调度是边缘计算领域中的一个重要问题。当下生活中的各种移动设备日趋智能化,所能提供的服务类型与数量也不断增多。然而,由于这些设备自身的计算资源与电池容量的限制,一些计算密集型的服务往往不能在自身设备上进行处理,这就会造成用户如果请求这类服务就不会得到响应。解决上述问题的一种方法是将这些计算密集型的任务卸载到有更强计算能力,更多能源支撑的云计算中心去处理。但是这些云计算中心与用户身边的移动设备有较远的距离,将任务从移动设备卸载到云计算中心会产生很大的通信时延,用户请求一些时延敏感性的服务不能够得到及时的响应。边缘计算理论的出现,满足了计算密集型与时延敏感性的任务对计算资源与响应时间两方面的要求。但边缘服务器自身的资源相对于远端云是有限的,且各边缘服务器之间的处理速度与资源总量往往不完全一样,同时任务之间还存在着资源竞争。因此如何为卸载到边缘服务器上任务设计调度算法,使得边缘服务器使用自身有限的资源处理更多的任务,同时能够保证用户的服务体验是很有必要的。本文为解决边缘计算环境下的任务调度问题,提出了两种不同的方法,主要工作如下:(1)我们将P-BPM任务处理模式应用到边缘计算场景下,基于蚁群算法的原理提出了一种边缘计算环境下多目标优化离线任务调度算法,称为P-MACO 算法(Parallel-batch multi-object ant colony optimization schedule algorithm)。我们针对边缘服务器之间性能参数不同而导致处理效率差异提出一种节约运行开销的方法,并在任务完成的及时性方面对算法进行了改进。(2)我们使用增强学习的思想,设计了可以应用在边缘计算环境中,适用于随机任务产生情形下的一种在线并行调度算法,称为OnPQ-Learning(Online Parallel-batch Q-Learning Algorithm)算法。通过建立马尔可夫决策模型使用Q-learning方法寻找合适的调度策略;同时为了保证任务处理的响应及时性和节约边缘服务器自身的资源,将超时任务数量、边缘服务器处理任务所需的时间与能耗开销,任务平均等待处理时间作为算法的优化目标,使得边缘服务器能够以自身有限的资源为用户提供大量,优质的服务。另外,文中对于处理边缘服务器的时间与能耗两方面的开销做出了一些个人见解。(3)通过使用Google cluster数据集来为我们的算法设计仿真实验,在两种不同的应用场景下,分别与MACO算法,FCFS算法,OnDisc算法进行了边缘服务器运行开销、任务处理时间、边缘服务器能耗开销、任务处理及时性等方面的对比。实验结果表明了我们的算法相对于其他算法在节约边缘服务器的资源、保证任务处理的及时性等方面上有着更好的表现。(本文来源于《安徽大学》期刊2019-03-01）
孙宇[8]（2019）在《云计算在智能电网任务调度及潮流并行计算的理论与应用研究》一文中研究指出云计算是当前电力系统领域研究的关键问题,在潮流分析时使用Spark集群做数据传输的并行计算框架已成为目前的研究热点。与传统基于硬盘的串行系统相比,使用Spark云可以缩短运算的收敛时间,对于数据密集型的任务,可以将运行速度提升数十倍。在电力系统并行计算快速发展的同时,如何提升Spark调度系统的性能和内存的利用率,保证潮流并行算法的求解效率,成为亟待解决的问题。本文基于云计算引擎Spark,首先,研究了集群对于RDD(数据集)的使用行为,对任务筛选与分区缓存等顶层调度机制进行了优化;其次,以综合性能为目标,对系统底层计算资源的分配完成了多目标搜索;最后,提出了一种适用于分布式计算的并行潮流算法,并在Spark云实现了雅克比阵的并行更新以及修正方程的并行迭代。本文的主要贡献有:(1)通过对源码进行分析,引入Spark运算流的两个特征参数,实现了任务的动态优先级筛选;在分析和优化任务结构的基础上,结合RDD的分布式特征,包括使用次数、内存容量、访问时间等,对RDD分区缓存策略进行了优化,提高了任务在资源有限情况下的运行效率。(2)通过分析RDD节点间的通信机制,建立了Spark运算流的分级调度策略,以实现高性能计算、降低成本、负载均衡为目标,提出了一种考虑偏好区域的多目标优化算法,经过仿真测试表明,该算法产生的综合能效均优于PSO、GA等传统算法。(3)通过引入Neumann定理对牛拉法进行了并行改造,并在Spark上对雅克比阵的生成及修正式的求解完成了并行装配,主要包括:与稀疏矩阵相关的修正量求解,以及针对高维矩阵的分布式相乘运算。最终实现了由Spark与Hadoop组成的并行计算集群,在IEEE合成系统中验证了该算法的可行性和有效性。(本文来源于《天津理工大学》期刊2019-03-01）
黄春秋[9]（2019）在《大规模数据并行处理应用中的弹性任务调度问题研究》一文中研究指出Hadoop分布式计算框架有效解决了大规模数据并行处理中数据的存储与计算问题,集群资源分配及调度方式对于提高系统的整体性能具有重大的现实意义。目前,相关学者在提高数据本地化,作业完成时间,系统吞吐量等方面提出了各种启发式算法来改善系统的整体性能。然而大部分启发式算法在调度过程中采用贪心策略去调度任务,对于任务缺乏整体性规划,而且由于数据分布式存放在集群中,Shuffle阶段仍会产生网络拥塞造成作业完成时间的延迟。随着数据量的急剧增长,合理的分配及利用资源、释放顶层带宽并加快作业的完成速度是目前面临的新挑战。另外,现实生活中部分用户对于作业有截止时间的要求,现有算法没有考虑到作业不同完成时间产生的不同收益问题,即作业对于截止时间的敏感程度不同。本文针对以上两方面问题,分别设计了调度算法去解决。研究的重点:1.资源分配策略;2.作业调度方法。以上两方面的好坏直接影响平台的整体性能和系统资源的利用率。在现实生活中存在许多重复性的工作具有可预测的属性特征,通过建立相应的模型可以对作业的执行时间进行预测。另外,在研究过程中发现作业调度与矩形条装箱问题有许多相似之处,不同点是任务矩形条的形状会随着分配资源的不同而改变,我们称之为弹性作业。本文首次将集群资源调度问题转化为可变的任务矩形条装箱问题,设计了弹性作业装箱算法(Flexible Job Bin Packing algorithm,简称FJBP)。同时本文结合遗传算法,进一步优化解集。针对作业的截止时间不同敏感性问题,本文首先将作业根据敏感程度进行了分类,设计了既考虑作业紧急程度又考虑作业预执行收益的一种作业弹性与截止时间感知的调度算法(elasticity and Deadline Aware job scheduling algorithm,简称DA)。在Matlab仿真的环境下验证了本文算法的优势。FJBP算法缩短了作业的整体完成时间,提高了系统资源利用率,释放了顶层带宽且一定程度上减少了网络拥塞。DA算法在作业执行前会去衡量作业执行的综合收益,优先选择收益大的去执行。实验表明整体收益平均提高了2.37倍。(本文来源于《天津工业大学》期刊2019-01-11）
景辉,秦勃,姜晓轶,夏海涛[10]（2018）在《Spark-GPU框架下海洋地理空间数据分布式并行处理任务调度》一文中研究指出大规模长时间序列海洋地理空间数据处理属于计算密集型任务。本文重点介绍Spark框架下如何利用GPU并行计算机制实现海洋地理空间数据分布式并行处理的任务调度,以提高大规模长时间序列海洋地理空间数据处理效率,满足实时交互需求。Spark-GPU框架包括Spark-GPU调度器和Spark-GPU运行时两部分。任务计算量和GPU设备计算能力作为调度策略因子,采用一个多项式时间的2近似算法求解,是一个着名的无关并行机任务调度问题。本文以流场可视化线积分卷积算法作为测试用例,1 000~2 000场的任务调度测试结果表明与原生Spark调度算法相比,Spark-GPU框架执行时间减少了14%~18%,GPU占用比提高了10%~20%。(本文来源于《中国海洋大学学报(自然科学版)》期刊2018年S2期）
并行任务调度论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
为使AceMesh任务调度系统在多核系统上获得更好的性能,研究并行构图方法,在一定程度上提高构图的效率。为实现构图的并行化,设计线程分离、数据区域二级划分及两种任务注册的方案;为保证构建的DAG图的正确性,采用地址分治和任务分治的策略;为确保能执行所有的任务,对构图任务和计算任务分别使用安全的终止检查方法。对网格应用采用大规模数据集测试,与串行构图的比较结果表明了并行构图方法有最高158%的性能提升。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
并行任务调度论文参考文献
[1].冯晨微,王艳.云制造系统并行任务优化调度[J].系统仿真学报.2019
[2].孟现粉,花嵘,傅游.网格应用的DAG任务调度系统的并行构图方法[J].计算机工程与设计.2019
[3].李于锋,莫则尧,肖永浩,熊敏.并行任务图的优化调度算法[J].计算机工程与科学.2019
[4].汪丽娟.Flink下的K-Means优化并行与任务调度研究[D].新疆大学.2019
[5].段菊.云环境下基于通信开销的并行任务调度策略[J].电脑知识与技术.2019
[6].陈楠.线程级多任务并行动态调度研究[D].合肥工业大学.2019
[7].赵星光.边缘计算环境下的并行任务调度算法研究[D].安徽大学.2019
[8].孙宇.云计算在智能电网任务调度及潮流并行计算的理论与应用研究[D].天津理工大学.2019
[9].黄春秋.大规模数据并行处理应用中的弹性任务调度问题研究[D].天津工业大学.2019
[10].景辉,秦勃,姜晓轶,夏海涛.Spark-GPU框架下海洋地理空间数据分布式并行处理任务调度[J].中国海洋大学学报(自然科学版).2018
论文知识图
