Cas-GAN:一种基于GAN和强化学习的对话管理策略学习方法

论文摘要

对话管理系统在日常生活中有广泛的应用,如在线购物,酒店预订和驾驶预订。在对话管理系统中,用户通过多轮对话与系统交互。有效的对话管理策略有助于对话系统有效地响应用户。对话管理中的策略学习是一项复杂的任务。为了建立一个目标导向的对话代理,过去的研究中,使用了不同的方法来训练有效的对话策略系统。生成对抗网络（GAN）由两个网络,生成器和鉴别器构成。生成器的主要作用是从真实数据生成虚假样本,侧重于策略学习过程的优化。鉴别器网络将接收来自策略学习训练得到的有效输出,并且将产生奖励。奖励输出可以是假或真,具体取决于0到1的值。GAN已经被应用于对话生成中,用来选择最佳策略以帮助构建对话代理。有效的对话策略学习可以提高对话管理的质量（流畅度和多样性）。而强化学习（RL）算法则用于优化策略策略,因为序列是离散的。在目前的研究中,我们提出了一种新技术,图生成对抗网络（CasGAN）,将GCN和RL结合起来。Cas-GAN可以通过使用图卷积网络（GCN）来对序列之间的关系进行建模。该图由不同的高级和低级节点组成。我们使用最大对数似然（MLL）方法来优化参数,选择最佳节点。实验结果表明,我们所提的方法CasGAN比Seq-GAN更加有效。

论文目录

• 摘要
• ABSTRACT
• LIST OF ABBREVIATIONS
• Chapter1:Introduction
•   1.1 Background
•   1.2 Problem Background
•   1.3 Problem Statement
•   1.4 Research Questions
•   1.5 Objective of the Research
•   1.6 Research Significance
•   1.7 Outline of the Dissertation
• Chapter2:Related Work
•   2.1 Introduction to GANs
•     2.1.1 Generator
•     2.1.2 Discriminator
•     2.1.3 Architecture of GAN
•     2.1.4 The Architecture of GANs with Policy Gradient
•   2.2 Human Machine Dialogue System
•     2.2.1 Natural Language Understanding（NLU）
•     2.2.2 Dialogue Manager
•     2.2.3 Natural Language Generation（NLG）
•   2.3 Graph Convolutional Network
•   2.4 Reinforcement Learning（RL）
•     2.4.1 Reinforcement Learning Methods
•     2.4.2 Reinforcement Learning Algorithms
•   2.5 Maximum Likelihood Estimation for GANs
•   2.6 Proposed Techniques for GANs
•     2.6.1 Molecular Generative Adversarial Network（Mol-GAN）
•     2.6.2 Sequence Generative Adversarial Network（Seq-GAN）
•     2.6.3 Objective-Reinforced Generative Adversarial Network
•   2.7 Literature Review
•   2.8 Summary
• Chapter3:Cas-GAN:A New Approach of Dialogue Policy Learning
•   3.1 Motivation
•   3.2 Architecture of Proposed Approach（Cas-GAN）
•   3.3 Formulation via Policy Gradient
•   3.4 Summary
• Chapter4:Experiment,Result and Analysis
•   4.1 Experimental Setup
•     4.1.1 Experimental Dataset
•   4.2 Result and Analysis
•   4.3 Summary
• Chapter5:Conclusion and Future Work
•   5.1 Conclusion
•   5.2 Future Work
• References
• Acknowledgement
• 附件

文章来源

类型: 硕士论文

作者: Nabeel Muhammad

导师: 王振宇

关键词: 对话管理系统,生成对抗网络,图形卷积网络,加强学习,对话策略学习,最大对数似然

来源: 华南理工大学

年度: 2019

分类: 基础科学,信息科技

专业: 数学,计算机软件及计算机应用,自动化技术

单位: 华南理工大学

分类号: TP315;O157.5;TP18

DOI: 10.27151/d.cnki.ghnlu.2019.000955

总页数: 68

文件大小: 2839K

下载量: 43