基于GPU的Spark计算框架性能模型研究

论文摘要

机器学习、深度学习和数据分析工具的最新研究进展对现有的计算系统和体系结构提出了新的要求和挑战。为解决此问题,Spark开源大数据计算框架应运而生,它扩展了早前Map-Reduce编程框架,通过基于内存的计算模式,解决了Map-Reduce框架容错性差、I/O操作负载过高等性能瓶颈,优化了大数据计算中的批处理、交互查询和流式计算等核心问题,并与Hadoop及其生态圈完美兼容。当下,Spark受限于CPU有限的运算效率和内存空间,其应用需求与系统性能间差异日益加大,以CPU作为Spark的计算平台已无法满足高效运算的需求。而GPU较之CPU在高性能并行计算领域存在先天性的优势,通过利用GPU上的并行计算资源可大力提升Spark系统的任务处理效率。本文在深入理解Spark计算框架优势的基础上,实现了Spark框架下GPU并行计算的系统性能分析和流程建模。目前,针对基于GPU的Spark计算框架性能建模工作尚处于初始阶段,为了深层次地挖掘与分析基于GPU的Spark计算框架,因此本文提出了基于排队论的Spark+GPU系统建模方法,量化研究了Spark计算系统性能与GPU资源利用之间的相互关系,选取多服务窗混合制M/M/n/m排队模型,得出了系统的平稳分布和主要性能指标,用以指导在线系统性能优化。本文的主要贡献如下:（1）本文首次运用排队论作为建模工具,构建了Spark+GPU量化数学模型。针对GPU多线程并行运算的特点,选取了多服务窗混合制M/M/n/m排队模型,并提出M/M/n/m排队模型的计算方法;（2）多服务窗混合制M/M/n/m排队模型未考虑数据到达的顺序,对多种应用的数据处理不做区分地遵循先来先服务原则,忽略了实际应用固有的优先级特性。针对此问题,本文提出了非强占有限优先权M/M/n/m模型,该模型可减少数据在系统中的平均排队时间,从而提高系统的运算效率。通过两种模型试验数据对比,结果表明有优先权的队列在系统中的平均等待时间随着系统业务量的加大明显小于无优先权队列。（3）针对多服务窗混合制M/M/n/m排队模型,在GPU固定内存带宽下,本文通过Matlab模拟数据规划得出合适的线程数量使得数据在GPU中平均等待时间最少,从而实现GPU资源利用率最大化。

论文目录

• 摘要
• Abstract
• 第一章 绪论
•   1.1 研究背景及研究意义
•     1.1.1 Spark
•     1.1.2 GPU
•     1.1.3 Spark+GPU
•     1.1.4 Spark+GPU性能建模的意义
•   1.2 国内外研究现状
•   1.3 本文主要贡献
•   1.4 本文组织结构
•   1.5 本章小结
• 第二章 相关理论基础与技术探讨
•   2.1 Spark分布式计算框架概述
•     2.1.1 Spark任务执行机制
•     2.1.2 Spark作业执行机制
•     2.1.3 Spark集群架构
•     2.1.4 Spark优势及特性
•   2.2 Spark+GPU性能建模相关研究工作
•     2.2.1 Spark+GPU性能建模研究工作
•     2.2.2 CPU-GPU异构并行系统架构
•   2.3 性能建模技术探讨
•     2.3.1 计算机系统性能建模的基本方法探讨
•     2.3.2 相关系统性能建模研究工作
•   2.4 本章小结
• 第三章 数学建模理论基础——排队论
•   3.1 排队论理论基础
•     3.1.1 排队论基本构成
•     3.1.2 排队系统运行指标
•   3.2 基本排队模型
•   3.3 排队系统常用概率分布
•     3.3.1 泊松分布
•     3.3.2 负指数分布
•   3.4 Little公式
•   3.5 本章小结
• 第四章 基于排队论的Spark+GPU性能模型研究
•   4.1 Spark+GPU工作原理
•     4.1.1 GPU加速Spark计算的运行机制
•     4.1.2 GPU高性能工作机制
•   4.2 排队模型选取
•   4.3 排队模型M/M/n/m计算方法
•     4.3.1 模型计算方法
•     4.3.2 性能分析
•   4.4 本章小结
• 第五章 非强占有限优先权模型优化与验证
•   5.1 模型优化
•     5.1.1 非强占有限优先权M/M/n/m模型
•     5.1.2 优化模型计算方法
•   5.2 模型验证
•     5.2.1 验证目标
•     5.2.2 实验与结果分析
•   5.3 本章小结
• 第六章 总结与展望
•   6.1 总结
•   6.2 展望
• 参考文献
• 攻读硕士学位期间取得的研究成果
• 致谢
• 附件

文章来源

类型: 硕士论文

作者: 吴梦玲

导师: 唐洁,周舟

关键词: 排队论,模型

来源: 华南理工大学

年度: 2019

分类: 基础科学,信息科技

专业: 数学,计算机软件及计算机应用

单位: 华南理工大学

分类号: O226;TP311.13

DOI: 10.27151/d.cnki.ghnlu.2019.002952

总页数: 63

文件大小: 5181K

下载量: 990