一种高效的经验回放模块设计

论文摘要

针对深度Q网络（DQN）应用中基于python数据结构直接实现的经验回放过程时常成为性能瓶颈,提出一种具有高性能及通用性的经验回放模块设计方案。该设计方案具有两层软件结构:底层的功能内核由C++语言实现,以提供较高的执行效率;上层则由python语言编写,以面向对象的方式封装模块功能并提供调用接口,使模块具有较高易用性。针对经验回放所涉及的关键操作,一些技术细节被充分研究和精心设计,例如,将优先级回放机制作为附属组件与模块的主体运行逻辑分离,将样本的可抽取性验证提前到样本记录操作中进行,使用高效的样本淘汰策略与算法等。这些措施使模块具有较高的通用性和可扩展性。实验结果表明,按照该模块实现的经验回放过程,整体执行效率得到了充分优化,两个关键操作——样本记录与样本抽取,皆可高效执行。与基于python数据结构的直接实现方式相比,所提模块在样本抽取操作上的性能提升了约100倍,从而避免了经验回放过程成为整个系统的性能瓶颈,满足了各类DQN相关应用项目的需要。

论文目录

• 0 引言
• 1 经验回放模块的接口形式
• 2 经验回放模块的架构设计
•   2.1 功能内核（C++）
•   2.2 包装类（python）
• 3 实现细节与理论分析
• batch操作的性能优化'>  3.1 get_batch操作的性能优化
•   3.2 record操作中记录淘汰过程及其性能优化
• 4 性能测试与讨论
• 5 结语

文章来源

类型: 期刊论文

作者: 陈勃,王锦艳

关键词: 强化学习,深度学习,深度网络,经验回放,软件设计

来源: 计算机应用 2019年11期

年度: 2019

分类: 信息科技,基础科学

专业: 数学,自动化技术

单位: 福州大学数学与计算机科学学院

基金: 福建省自然科学基金资助项目(2016J01294)~~

分类号: TP18;O212.2

页码: 3242-3249

总页数: 8

文件大小: 720K

下载量: 73