基于深度时序差分强化学习的非置换流水车间调度问题研究

论文摘要

流水线是制造系统中广泛采用的一类生产模式。业已证明机器数超过三台的流水车间调度问题为NP难问题,对该问题的研究有重要的理论和工程价值。传统调度问题解决方法包括数学建模、启发式和元启发式算法等,能在较短时间内获得较优解,但难以应对任务、资源等不确定因素的动态变化。深度强化学习直接依据输入状态进行行为策略选取,更贴近实际制造系统加工状态响应式的生产调度过程。因此,本文首次提出一种深度时序差分强化学习方法,用于求解非置换流水车间单目标、多目标和动态调度问题。首先,介绍深度学习和强化学习的基础理论,包括基于神经网络的深度学习、基于马尔科夫决策过程的强化学习,在此基础上给出深度时序差分强化学习算法框架,创新性地将深度Q学习网络中异策略的Q学习替换为同策略的基于状态值的TD学习。其次,首次运用深度时序差分强化学习算法求解最小化最大完工时间的非置换流水车间调度问题。每台机器定义15个加工状态特征,设置28个启发式算法和分配规则组成的候选行为集,依据优化目标定义状态转移报酬函数,将调度问题转化为多阶段决策过程。应用提出算法求解基准问题集flcmax的40个实例,与构造启发式算法和蚁群算法对比测试,解的质量明显优于对比算法,验证了算法的求解性能。然后,描述多目标优化问题模型并给出多目标强化学习基本架构及求解方法,以最大完工时间和总加工能耗最小化为双目标建立合成目标函数,运用变换参数的多策略方法在Taillard问题部分实例上测试提出算法,实验显示本算法能够获得较好的Pareto解集。对比分析学习率参数对算法性能的影响,提出学习率动态调整的算法改进思路。最后,阐述动态调度问题及其常用性能指标和重调度策略,在Car实例上设计新订单动态到达的重调度问题,测试结果证明当面对不同工件数目的新订单动态到达等突发事件时,算法在基于事件驱动的重调度策略上具备动态适应能力。

论文目录

• 摘要
• Abstract
• 1 绪论
•   1.1 课题来源
•   1.2 研究背景与意义
•   1.3 国内外研究概况
•   1.4 论文的主要研究内容
• 2 基础理论
•   2.1 深度学习
•   2.2 强化学习
•   2.3 深度时序差分强化学习
•   2.4 本章小结
• 3 单目标非置换流水车间调度问题
•   3.1 问题描述
•   3.2 调度问题的转化
•   3.3 实例验证
•   3.4 本章小结
• 4 多目标非置换流水车间调度问题
•   4.1 问题描述与数学模型
•   4.2 多目标强化学习
•   4.3 优化目标
•   4.4 实例验证
•   4.5 本章小结
• 5 非置换流水车间动态调度问题
•   5.1 问题描述
•   5.2 动态调度目标
•   5.3 动态调度策略
•   5.4 实例验证
•   5.5 本章小结
• 6 总结与展望
•   6.1 全文总结
•   6.2 课题展望
• 致谢
• 参考文献
• 附录 攻读硕士期间发表论文

文章来源

类型: 硕士论文

作者: 肖鹏飞

导师: 张超勇

关键词: 非置换流水车间,调度算法,深度学习,时序差分法,强化学习

来源: 华中科技大学

年度: 2019

分类: 基础科学,信息科技

专业: 数学,自动化技术

单位: 华中科技大学

基金: 国家自然科学基金面上项目“面向环境可持续性的数字化制造装备能耗建模及运行优化”(项目批准号:51575211),国家自然科学基金国际(地区)合作与交流项目(NSFC-EPSRC)“面向低碳制造的激光加工工艺及系统优化基础理论与关键技术”(项目批准号:51861165202)

分类号: TP18;O225

DOI: 10.27157/d.cnki.ghzku.2019.000707

总页数: 70

文件大小: 2144K

下载量: 266