飞桨：源于产业实践的开源深度学习平台

论文摘要

【目的】深度学习是近年来人工智能取得突破的驱动性核心技术,深度学习框架也被称作智能时代的操作系统,本文对国内唯一功能完备的开源深度学习平台飞桨(PaddlePaddle)进行了系统性介绍。【方法】首先介绍深度学习框架的发展历程,并概述飞桨深度学习平台的技术全景和生态建设进展,然后详细介绍飞桨核心框架的关键技术,包括前端语言、组网编程范式、核心架构图、算子库以及高效率计算核心五个部分。【结果】飞桨经过多年来产业实践中持续迭代创新,已经在超大规模分布式训练、多端高速推理等方面形成了独特的优势。【结论】系统性总结飞桨的主要创新点并对未来发展趋势进行展望。

论文目录

• 引言
• 1 飞桨深度学习平台简介
•   1.1 技术全景
•     1.1.1 核心框架
•     1.1.2 工具组件
•     1.1.3 服务平台
•   1.2 飞桨生态建设
• 2 飞桨深度学习框架核心技术
•   2.1 前端语言
•   2.2 组网编程范式
•   2.3 核心架构
•     2.3.1 执行器
•       （1）减少同步的次数
•       （2）支持并发执行Operator
•     2.3.2 显存管理
•       （1）显存分配机制
•       （2）显存垃圾及时回收机制
•       （3）Operator内部显存复用机制
•   2.4 算子库
•   2.5 高效率计算核心
•     2.5.1 Operator粒度层面
•     2.5.2 核函数实现层面
•       （1）针对CPU平台
•       （2）针对GPU平台
• 3 创新性介绍
•   3.1 基于Program的神经网络模型定义表示
•   3.2 基于变长张量表示的计算加速
•   3.3 基于训练推理一体化的多端推理引擎
•   3.4 多机多卡扩展性组件智能组合技术
•   3.5 超大规模稀疏参数服务器技术
•   3.6 低配网络环境稀疏通信并行训练算法
•   3.7 局部拉德马赫正则化方法
•   3.8 知识增强语义表示学习方法
• 4 发展趋势展望
•   4.1 深度学习门槛进一步降低
•   4.2 软硬一体充分释放硬件性能
•   4.3 无处不在的连接，安全的AI计算
• 利益冲突声明

文章来源

类型: 期刊论文

作者: 马艳军,于佃海,吴甜,王海峰

关键词: 飞桨,人工智能,深度学习,深度学习框架

来源: 数据与计算发展前沿 2019年05期

年度: 2019

分类: 信息科技

专业: 自动化技术

单位: 百度公司

分类号: TP18

页码: 105-115

总页数: 11

文件大小: 1272K

下载量: 48