翻译方法、机器翻译模型的训练方法、装置及存储介质论文和设计-邵晨泽

全文摘要

本申请公开了一种翻译方法、机器翻译模型的训练方法、装置及存储介质，涉及人工智能领域，该方法包括：获取标注有参考翻译结果的样本语句；将样本语句输入待训练的机器翻译模型，得到样本语句的样本翻译结果，机器翻译模型为模型参数待调整的非自回归的模型；根据参考翻译结果计算词语翻译结果的梯度估计值，其中，梯度估计值是通过奖赏值计算得到的；根据梯度估计结果对机器翻译模型的模型参数进行调整。通过奖赏值计算梯度估计值，并根据梯度估计值对机器翻译模型的模型参数进行调整，以奖赏值为调整参考数据得到梯度估计值对模型参数进行调整，从而实现对机器翻译模型的序列级训练，提高训练后的机器翻译模型的翻译准确度。

主设计要求

1.一种基于机器翻译模型的翻译方法，其特征在于，所述方法包括：获取源端语句，所述源端语句为第一自然语言的语句；将所述源端语句输入机器翻译模型，所述机器翻译模型为非自回归的模型，所述机器翻译模型是通过标注有参考翻译结果的样本语句训练得到的，其中，训练过程是通过将所述样本语句输入待训练的所述机器翻译模型后，输出由词语翻译结果连接得到的样本翻译结果，并根据参考翻译结果计算样本翻译结果的梯度估计结果后，根据梯度估计结果对机器翻译模型的模型参数进行调整实现的，所述词语翻译结果的梯度估计值是通过奖赏值计算得到的；通过所述机器翻译模型对所述源端语句进行翻译，并输出得到目标端语句，所述目标端语句为第二自然语言的语句。

设计方案

1.一种基于机器翻译模型的翻译方法，其特征在于，所述方法包括：

获取源端语句，所述源端语句为第一自然语言的语句；

将所述源端语句输入机器翻译模型，所述机器翻译模型为非自回归的模型，所述机器翻译模型是通过标注有参考翻译结果的样本语句训练得到的，其中，训练过程是通过将所述样本语句输入待训练的所述机器翻译模型后，输出由词语翻译结果连接得到的样本翻译结果，并根据参考翻译结果计算样本翻译结果的梯度估计结果后，根据梯度估计结果对机器翻译模型的模型参数进行调整实现的，所述词语翻译结果的梯度估计值是通过奖赏值计算得到的；

通过所述机器翻译模型对所述源端语句进行翻译，并输出得到目标端语句，所述目标端语句为第二自然语言的语句。

2.根据权利要求1所述的方法，其特征在于，所述词语翻译结果的梯度估计值的确定方法包括：

针对第t个所述词语翻译结果，从词汇表中对位于第t个所述词语翻译结果之前以及之后的词语进行采样得到采样词语，t为正整数；

将所述采样词语与第t个所述词语翻译结果顺次连接，得到采样语句；

根据所述采样语句与所述参考翻译结果之间的差异确定所述第t个奖赏值；

根据所述第t个奖赏值计算第t个所述词语翻译结果的所述梯度估计值。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

对采样次数进行计数，并在累次进行采样时将每次采样后计算得到的奖赏值进行累加；

当所述采样次数达到n次时，根据累加得到的奖赏值之和计算奖赏平均值；

将所述奖赏平均值作为所述第t个奖赏值。

4.一种机器翻译模型的训练方法，其特征在于，所述方法包括：

获取样本语句，所述样本语句为标注有参考翻译结果的语句；

将所述样本语句输入待训练的机器翻译模型，得到所述样本语句的样本翻译结果，所述样本翻译结果是将所述样本语句中的词语翻译结果连接得到的，所述机器翻译模型为模型参数待调整的非自回归的模型；

根据所述参考翻译结果计算所述词语翻译结果的梯度估计值，得到所述样本翻译结果的梯度估计结果，其中，所述词语翻译结果的所述梯度估计值是通过奖赏值计算得到的；

根据所述样本翻译结果的梯度估计结果对所述机器翻译模型的所述模型参数进行调整。

5.根据权利要求4所述的方法，其特征在于，所述根据所述参考翻译结果计算所述词语翻译结果的梯度估计值，包括：

针对第t个所述词语翻译结果，从词汇表中对位于第t个所述词语翻译结果之前以及之后的词语进行采样得到采样词语，t为正整数；

将所述采样词语与第t个所述词语翻译结果顺次连接，得到采样语句；

根据所述采样语句与所述参考翻译结果之间的差异确定所述第t个奖赏值；

根据所述第t个奖赏值计算第t个所述词语翻译结果的所述梯度估计值。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

对采样次数进行计数，并在累次进行采样时将每次采样后计算得到的奖赏值进行累加；

当所述采样次数达到n次时，根据累加得到的奖赏值之和计算奖赏平均值；

将所述奖赏平均值作为所述第t个奖赏值。

7.根据权利要求5所述的方法，其特征在于，第t个所述词语翻译结果中包括所述词汇表中的词汇在第t个所述词语翻译结果处的概率分布；

所述方法还包括：

选择所述词汇表中概率最高的k个词汇，k为正整数；

根据所述k个词汇中每个词汇对应的所述第t个奖赏值，计算所述k个词汇的第一梯度加权和；

从所述词汇表中除所述k个词汇以外的词汇中进行采样，得到采样词汇；

根据所述采样词汇对应的所述第t个奖赏值，预估第二梯度加权和；

将所述第一梯度加权和与所述第二梯度加权和之和，作为所述第t个词语翻译结果的所述梯度估计值。

8.根据权利要求7所述的方法，其特征在于，所述计算所述k个词汇的第一梯度加权和，包括：

计算所述k个词汇中第m个词汇的概率与所述第m个词汇对应的所述第t个奖赏值的梯度乘积，0＜m≤k；

将所述k个词汇的所述梯度乘积相加得到所述第一梯度加权和。

9.根据权利要求7所述的方法，其特征在于，所述预估第二梯度加权和，包括：

计算总概率和与所述k个词汇的概率和之差，得到差值概率；

计算所述采样词汇的概率、所述采样词汇对应的所述第t个奖赏值以及所述差值概率之积作为所述第二梯度加权和。

10.根据权利要求4至9任一所述的方法，其特征在于，所述根据所述参考翻译结果计算所述词语翻译结果的梯度估计值，得到所述样本翻译结果的梯度估计结果，包括：

将每个所述词语翻译结果的梯度估计值之和确定为所述样本翻译结果的梯度估计结果。

11.一种基于机器翻译模型的翻译装置，其特征在于，所述装置包括：

获取模块，用于获取源端语句，所述源端语句为第一自然语言的语句；

输入模块，用于将所述源端语句输入机器翻译模型，所述机器翻译模型为非自回归的模型，所述机器翻译模型是通过标注有参考翻译结果的样本语句训练得到的，其中，训练过程是通过将所述样本语句输入待训练的所述机器翻译模型后，输出由词语翻译结果连接得到的样本翻译结果，并根据参考翻译结果计算样本翻译结果的梯度估计结果后，根据梯度估计结果对机器翻译模型的模型参数进行调整实现的，所述词语翻译结果的梯度估计值是通过奖赏值计算得到的；

输出模块，用于通过所述机器翻译模型对所述源端语句进行翻译，并输出得到目标端语句，所述目标端语句为第二自然语言的语句。

12.一种机器翻译模型的训练装置，其特征在于，所述装置包括：

获取模块，用于获取样本语句，所述样本语句为标注有参考翻译结果的语句；

输入模块，用于将所述样本语句输入待训练的机器翻译模型，得到所述样本语句的样本翻译结果，所述样本翻译结果是将所述样本语句中的词语翻译结果连接得到的，所述机器翻译模型为模型参数待调整的非自回归的模型；

确定模块，用于根据所述参考翻译结果计算所述词语翻译结果的梯度估计值，得到所述样本翻译结果的梯度估计结果，其中，所述词语翻译结果的所述梯度估计值是通过奖赏值计算得到的；

调整模块，用于根据所述样本翻译结果的梯度估计结果对所述机器翻译模型的所述模型参数进行调整。

13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现如权利要求1至3任一所述的基于机器翻译模型的翻译方法，或实现如权利要求4至10任一所述的机器翻译模型的训练方法。

14.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如权利要求1至3任一所述的基于机器翻译模型的翻译方法，或实现如权利要求4至10任一所述的机器翻译模型的训练方法。

设计说明书

技术领域

本申请实施例涉及人工智能领域，特别涉及一种翻译方法、机器翻译模型的训练方法、装置及存储介质。

背景技术

机器翻译是通过计算机将一种自然语言的句子翻译成另一种自然语言的句子的翻译方式，通常，该机器翻译是通过训练好的机器学习模型对句子进行翻译，示意性的，机器学习模型通过大量的翻译语料样本进行训练后，用户将中文句子“房价持续增长”输入该机器学习模型后，输出得到英文翻译“The housing prices continued to rise.”。

相关技术中，通过非自回归模型实现速度要求较高的机器翻译过程，该非自回归模型的模型参数是通过词级别的交叉熵损失函数进行训练的，该交叉熵损失函数对样本语句中每个词所在位置的生成结果进行独立评价，并根据对每个位置的评价对非自回归模型的参数进行调整，从而实现对非自回归模型的训练。

然而，由于通过交叉熵损失函数对非自回归模型进行训练的过程中，每个位置的译文单词的生成和评价都是独立进行的，非自回归模型难以捕捉不同位置译文间的序列依赖关系，生成的译文通常通顺度较低，翻译效果较差。

发明内容

本申请实施例提供了一种翻译方法、机器翻译模型的训练方法、装置及存储介质，可以解决非自回归模型难以捕捉不同位置译文间的序列依赖关系，生成的译文通常通顺度较低，翻译效果较差的问题。所述技术方案如下：

一方面，提供了一种基于机器翻译模型的翻译方法，所述方法包括：

获取源端语句，所述源端语句为第一自然语言的语句；

通过所述机器翻译模型对所述源端语句进行翻译，并输出得到目标端语句，所述目标端语句为第二自然语言的语句。

另一方面，提供了一种机器翻译模型的训练方法，所述方法包括：

获取样本语句，所述样本语句为标注有参考翻译结果的语句；

根据所述样本翻译结果的梯度估计结果对所述机器翻译模型的所述模型参数进行调整。

另一方面，提供了一种基于机器翻译模型的翻译装置，所述装置包括：

获取模块，用于获取源端语句，所述源端语句为第一自然语言的语句；

输出模块，用于通过所述机器翻译模型对所述源端语句进行翻译，并输出得到目标端语句，所述目标端语句为第二自然语言的语句。

另一方面，提供了一种机器翻译模型的训练装置，所述装置包括：

获取模块，用于获取样本语句，所述样本语句为标注有参考翻译结果的语句；

调整模块，用于根据所述样本翻译结果的梯度估计结果对所述机器翻译模型的所述模型参数进行调整。

另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中提供的基于机器翻译模型的翻译方法或机器翻译模型的训练方法。

另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中提供的基于机器翻译模型的翻译方法或机器翻译模型的训练方法。

另一方面，提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如上述本申请实施例中提供的基于机器翻译模型的翻译方法或机器翻译模型的训练方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

通过在训练过程中，通过奖赏值计算梯度估计值，并根据梯度估计值对机器翻译模型的模型参数进行调整，以奖赏值为调整参考数据得到梯度估计值对模型参数进行调整，从而实现对机器翻译模型的序列级训练，并提高训练过程的稳定性，提高训练后的机器翻译模型的翻译准确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个示例性实施立体提供的自回归机器翻译模型的结构框图；

图2是本申请一个示例性实施例提供的非自回归机器翻译模型的结构框图；

图3是本申请一个示例性实施例提供的机器翻译模型的训练方法的流程图；

图4是本申请另一个示例性实施例提供的机器翻译模型的训练方法的流程图；

图5是本申请另一个示例性实施例提供的机器翻译模型的训练方法的流程图；

图6是本申请一个示例性实施例提供的基于机器翻译模型的翻译方法的流程图；

图7是本申请一个示例性实施例提供的机器翻译模型在测试过程中的实验数据示意图；

图8是本申请另一个示例性实施例提供的机器翻译模型在测试过程中的实验数据示意图；

图9是本申请另一个示例性实施例提供的机器翻译模型在测试过程中的实验数据示意图；

图10是本申请一个示例性实施例提供的机器翻译模型的训练装置的结构框图；

图11是本申请一个示例性实施例提供的基于机器翻译模型的翻译装置的结构框图；

图12是本申请另一个示例性实施例提供的基于机器翻译模型的翻译装置的结构框图；

图13是本申请一个示例性实施例提供的服务器的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

首先，对本申请实施例中涉及的名词进行简单介绍：

机器翻译：是指通过计算机将一种自然语言的句子翻译成另一种自然语言的句子的翻译方式。通常，该机器翻译是通过训练好的机器翻译模型对句子进行翻译，示意性的，通过大量的翻译语料样本对机器翻译模型进行训练，该翻译语料样本中包括多组第一自然语言的语料和第二自然语言的语料之间的对应关系，每个第一自然语言的语料对应一个第二自然语言的语料作为翻译结果，训练完成后，用户将第一自然语言的源端句子输入该机器翻译模型后，输出得到第二自然语言的目标端句子。示意性的，将中文句子翻译为英文句子，中文句子即为源端句子，英文句子即为目标端句子；比如，机器翻译模型将句子“我必须解决这个问题。”翻译为句子“I must solve the problem.”，则句子“我必须解决这个问题。”是源端句子，句子“I must solve the problem.”是目标端句子。

可选地，上述机器翻译模型可以是自回归的模型，也可以是非自回归的模型，其中，自回归在机器翻译中是指根据前文的翻译结果确定当前词汇翻译结果的方式，也即，第i个时刻的变量的预测结果是通过第i-1，i-2，……，i-k个时刻等前k个时刻的该变量的表现预测得到的，这一特性就是自回归特性。相对的，非自回归是指独立确定每个词汇的翻译结果的方式。

可选地，该机器翻译模型中包括模型参数，该模型参数通过在对机器翻译模型的训练过程中进行调整改进从而实现对机器翻译模型的训练。

示意性的，图1是本申请一个示例性实施例提供的自回归机器翻译模型的结构框图，如图1所示，该自回归机器翻译模型100通过注意力机制对序列进行建模，该自回归机器翻译模型100包括编码器110和解码器120，其中，编码器110中包括自注意力模块111和前馈神经网络模块112；解码器120中包括自注意力模块121、源端注意力模块122以及前馈神经网络模块123；该自回归机器翻译模块100中还包括特征映射网络130和softmax网络140，输入特征并通过编码器110进行编码以及通过解码器120进行解码后，通过特征映射网络130进行特征映射，并通过softmax网络140确定输出的翻译结果。然而，受自回归特性的限制，自回归机器翻译模型100需要逐词进行解码，因此翻译速度较慢。

示意性的，图2是本申请一个示例性实施例提供的非自回归机器翻译模型的结构框图，如图2所示，该非自回归机器翻译模型200用于对每个位置的词语的概率分布独立建模。该非自回归机器翻译模型200中包括编码器210和解码器220，其中，编码器包括自注意力模块211和前馈神经网络模块212，解码器220中包括自注意力模块221、位置注意力模块222、源端注意力模块223和前馈神经网络模块224；通过将每个位置的词汇输入编码器210进行编码，以及输入解码器220进行解码后，通过softmax层230得到每个位置的词汇对应的翻译结果。非自回归机器翻译模型200的并行特性决定较快的翻译速度，而非自回归机器翻译模型200在翻译质量上由于对每个词语的翻译评价都是独立进行的，故通顺度较低，翻译准确度较低。

本申请实施例中，以该机器翻译模型实现为非自回归模型为例进行说明。

示意性的，本申请涉及的应用场景至少包括如下场景：

服务器中包括机器翻译模型，通过服务器对该机器翻译模型进行训练。

机器翻译模型在训练过程中是通过标注有参考翻译结果的样本语句进行训练的，可选地，该样本语句为第一自然语言的语句，该参考翻译结果中包括第二自然语言的语句，该第二自然语言的语句为对该样本语句进行翻译后得到的与该样本语句的语义相同的语句。

该机器翻译模型中包括模型参数，通过机器翻译模型对样本语句进行翻译后，得到样本翻译结果，其中，该样本翻译结果是通过机器翻译模型对样本语句中的词汇进行词汇翻译后，将词语翻译结果按序连接得到的。计算该样本翻译结果的梯度估计值后，根据该梯度估计值对模型参数进行调整，其中，样本翻译结果中的词语翻译结果的梯度估计值是通过奖赏值计算得到的。

示意性的，服务器中包括待训练的机器翻译模型，该机器翻译模型为非自回归的模型，服务器获取样本语句“房价正在持续上涨”以及该样本语句的参考翻译结果“Thehousing prices continued to rise.”，通过机器翻译模型对该样本语句进行翻译后，得到该样本语句的样本翻译结果，该样本翻译结果中包括“房价”、“正在持续”、“上涨”个字对应的词语翻译结果。根据参考翻译结果以及奖赏值计算得到每个词语翻译结果对应的梯度估计值，也即根据“housing prices”计算得到词语“房价”的词语翻译结果对应的梯度估计值、根据“continued”计算得到词语“正在持续”的词语翻译结果对应的梯度估计值，以及根据“rise”计算得到词语“上涨”的词语翻译结果对应的梯度估计值，结合每个词语翻译结果的梯度估计值得到该样本翻译结果的梯度估计结果，并通过梯度翻译结果对机器翻译模型的模型参数进行调整，从而实现对机器翻译模型的单次训练。

可选地，在上述单次训练完成后，服务器还可以获取另一样本语句以及该另一样本语句对应的参考翻译结果，并通过上述训练过程对该机器翻译模型进行迭代训练；通过样本语句对机器翻译模型的迭代训练次数可以是由测试人员设置的，也可以是根据机器翻译模型的训练效果确定得到的，本申请实施例对此不加以限定。

可选地，训练后的该机器翻译模型可以应用于如下场景中的至少一种：

1、该机器翻译模型应用于即时通信程序中，即时通信程序能够实现实时语音翻译；如：通过上述机器翻译模型能够实现即时通信程序语音\/视频过程中的实时语音翻译；

2、该机器翻译模型应用于视频播放程序中，视频播放程序能够在视频播放过程中实现对第一自然语言的字幕进行实时翻译，得到第二自然语言的字幕；

3、该机器翻译模型应用于文档翻译软件中，可以用于实现对文档类内容快速准确的翻译；

4、该机器翻译模型应用于文章资讯阅读中，可以用于实现对国外资讯、文章或将自有内容进行翻译；

5、该机器翻译模型应用于外文网站翻译中，可以用于实现对国外电商网站、海淘服务网站的便捷访问；

6、该机器翻译模型应用于电子词典中，能够实现各种语言的快速准确的翻译查询；

7、该机器翻译模型应用于翻译机等实时翻译工具时，用户能够通过该实时翻译工具实现快速应答，如：在跨国会议场景中、境外旅游中。值得注意的是，上述应用场景仅为示意性的举例，在实际操作中，通过上述机器翻译模型的训练方法对机器翻译模型进行训练的应用场景都可以使用本申请实施例中提供的机器翻译模型的训练方法，本申请实施例对此不加以限定。

图3是本申请一个示例性实施例提供的机器翻译模型的训练方法的流程图，以该方法应用于服务器中为例进行说明，如图3所示，该方法包括：

步骤301，获取样本语句，该样本语句为标注有参考翻译结果的语句。

可选地，该样本语句为第一自然语言的语句，该参考翻译结果为第二自然语言的语句。示意性的，以第一自然语言为中文，第二自然语言为英语为例进行说明，该样本语句包括“房价正在持续上涨”，而与该样本语句对应的参考翻译结果为“The housing pricescontinued to rise.。其中，样本语句中的每个词汇与参考翻译结果中的单词或短语对应，如：词汇“房价”与短语“the housing prices”对应，词汇“正在持续”与单词“continued”对应，词汇“上涨”与短语“to rise”对应。

可选地，服务器获取p个样本语句，并通过该p个样本语句迭代对机器翻译模型进行训练。

可选地，该p个样本语句以及对应的参考翻译结果可以是服务器中预先存储的，也可以是服务器从其他服务器中获取的，本申请实施例对样本语句的获取方式不加以限定。

步骤302，将样本语句输入待训练的机器翻译模型，得到样本语句的样本翻译结果。

可选地，该样本翻译结果是将样本语句中的词语翻译结果连接得到的，该机器翻译模型为模型参数待调整的非自回归的模型。

可选地，非自回归的机器翻译模型是通过对样本语句中的词汇进行独立翻译后，将独立翻译后得到的词语翻译结果连接后得到样本翻译结果的。

可选地，该机器翻译模型对应有词汇表，针对样本语句中的每个词语，确定词汇表中每个词汇与该样本语句中的词语对应的概率值，并将每个词汇对应的概率值作为该样本语句中每个词语的词语翻译结果。

可选地，在对机器翻译模型进行应用的过程中，对于源端语句中每个词语，选择词汇表中概率值最高的词汇作为翻译结果，并将每个词语对应的翻译结果连接后，得到对源端语句进行翻译得到的目标端语句。

步骤303，根据参考翻译结果计算词语翻译结果的梯度估计值，得到样本翻译结果的梯度估计值。

可选地，第t个词语翻译结果的梯度估计值是通过奖赏值计算得到的，该奖赏值可以是样本语句中的每个位置共享的，也可以是根据位置的不同确定得到的，针对上述两种方式分别进行说明：

第一，上述奖赏值是样本语句中每个位置共享的；

针对给定的源端句子X和目标句子Y，该机器翻译模型对从X到Y的翻译概率进行如下公式一的建模：

公式一：设计图

翻译方法、机器翻译模型的训练方法、装置及存储介质论文和设计

翻译方法、机器翻译模型的训练方法、装置及存储介质论文和设计-邵晨泽

全文摘要

主设计要求

设计方案

设计说明书

相关信息详情

猜你喜欢