基于强化学习的智能通信干扰决策技术研究

论文摘要

随着人工智能的发展,将人工智能与电子战结合的认知电子战技术也得到了越来越多的重视。而智能通信干扰决策则是认知电子战的一个重要研究方向。智能通信干扰决策本质上是一个决策问题,而人工智能算法中的强化学习算法则是进行序列决策的一种可行的算法。因此本文对基于强化学习的智能通信干扰决策算法进行研究。本文首先研究了强化学习算法的基本原理与算法框架。给出了强化学习的几种经典学习算法。然后对深度神经网络中的深度前馈网络进行了介绍,对其训练方法进行了分析。接着结合深度学习和强化学习,对深度强化学习的概念和几种典型的算法进行了介绍。然后对认知通信对抗系统进行了介绍,并对智能通信干扰算法在认知通信对抗系统中的位置进行了分析。提出了敌方通信参数不变、敌方会根据受干扰情况切换信道以及敌方会根据受干扰情况改变通信参数等智能通信干扰算法的三种应用场景。针对每种应用场景,提出了合适的智能干扰决策算法。设计了智能通信干扰决策算法在每种应用场景下的奖赏函数、算法流程、算法参数等。并针对特定问题对算法进行了相应的改进,对其学习过程进行了优化。最后根据上述分析结果,搭建了智能干扰的仿真环境。对三种应用场景下的智能干扰算法进行了仿真验证。仿真结果表明三种算法在对应的应用场景下能够学习到好的干扰策略。实验证明了智能通信干扰决策算法在通信对抗中的可行性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
•   1.1 研究背景及意义
•   1.2 国内外认知电子战技术发展现状
•     1.2.1 国外研究现状
•     1.2.2 国内研究现状
•   1.3 机器学习在电子战中的应用
•   1.4 论文主要内容和章节
• 第二章 强化学习算法基础
•   2.1 传统强化学习算法
•     2.1.1 K-摇臂赌博机
•     2.1.2 有模型强化学习
•     2.1.3 无模型强化学习
•   2.2 深度神经网络
•     2.2.1 深度前馈网络
•     2.2.2 损失函数与梯度下降
•   2.3 深度强化学习
•     2.3.1 深度价值网络（DQN）
•     2.3.2 深度确定性策略梯度算法（DDPG）
•   2.4 本章小结
• 第三章 智能通信干扰决策算法设计
•   3.1 通信系统
•   3.2 认知通信对抗中的智能干扰
•   3.3 基于K-摇臂赌博机的未知信号干扰参数学习算法
•   3.4 基于强化学习的干扰信道选择算法
•   3.5 基于深度强化学习的智能干扰决策算法
•     3.5.1 对抗过程设计
•     3.5.2 干扰动作选择算法设计
•     3.5.3 干扰状态及干扰回报设计
•     3.5.4 基于DDPG的智能干扰决策算法
•     3.5.5 决策网络搭建
•     3.5.6 训练方法及参数选择
•     3.5.7 算法难点及解决方案
•   3.6 本章小结
• 第四章 智能通信干扰决策算法仿真与分析
•   4.1 仿真环境介绍
•     4.1.1 硬件环境
•     4.1.2 软件环境
•   4.2 基于K-摇臂赌博机的干扰参数学习与原始算法对比
•   4.3 基于强化学习的干扰信道选择与跟踪算法对比
•   4.4 基于深度强化学习的智能干扰与跟踪干扰对比
•   4.5 本章小结
• 第五章 总结与展望
•   5.1 全文总结
•   5.2 论文创新点
•   5.3 工作展望
• 参考文献
• 致谢
• 在学期间发表的学术论文及取得的研究成果

文章来源

类型: 硕士论文

作者: 杨鸿杰

导师: 张君毅

关键词: 认知电子战,通信对抗,智能干扰,强化学习

来源: 中国电子科技集团公司电子科学研究院

年度: 2019

分类: 基础科学,信息科技

专业: 数学,自动化技术

单位: 中国电子科技集团公司电子科学研究院

分类号: TP18;O225

DOI: 10.27728/d.cnki.gdzkx.2019.000061

总页数: 68

文件大小: 5034K

下载量: 310