一种半监督学习的训练方法、系统和计算机可读存储介质论文和设计-别晓辉

全文摘要

本发明提供一种半监督学习的训练方法、系统和计算机可读存储介质，所述方法包括：对历史标注样本进行聚类，计算得到聚类中心；接收新的标注样本和未标注样本；根据模型计算标注样本的预测标签，结合预测标签与实际标签求得第一损失函数；对比分析未标注样本和聚类中心的历史标注样本的一致性，并计算得到第二损失函数；结合第一损失函数和第二损失函数，并采用预设的半监督学习算法优化模型的参数。本发明只要标注少量的样本，极大降低了标注过程的成本；利用少量的标注样本，来引导大量的未标注样本进行特征训练，充分发挥了未标注样本的作用，可以进一步辅助模型的训练，提高模型的预测能力。

主设计要求

1.一种半监督学习的训练方法，其特征在于，所述方法包括：对历史标注样本进行聚类，计算得到聚类中心；接收新的标注样本和新的未标注样本；根据半监督学习模型计算新的标注样本的预测标签，结合预测标签与新的标注样本事先标注好的实际标签求得第一损失函数；对比分析新的未标注样本和聚类中心的历史标注样本的一致性，并计算得到第二损失函数；结合第一损失函数和第二损失函数，并采用预设的半监督学习算法优化半监督学习模型的参数。

设计方案

1.一种半监督学习的训练方法，其特征在于，所述方法包括：

对历史标注样本进行聚类，计算得到聚类中心；

接收新的标注样本和新的未标注样本；

根据半监督学习模型计算新的标注样本的预测标签，结合预测标签与新的标注样本事先标注好的实际标签求得第一损失函数；

对比分析新的未标注样本和聚类中心的历史标注样本的一致性，并计算得到第二损失函数；

结合第一损失函数和第二损失函数，并采用预设的半监督学习算法优化半监督学习模型的参数。

2.根据权利要求1所述的一种半监督学习的训练方法，其特征在于，对比分析新的未标注样本和聚类中心的历史标注样本的一致性，并计算得到第二损失函数，具体包括：

选定新的未标注样本和聚类中心的历史标注样本中的对应特征进行比对分析，并基于二者特征的偏差来计算得到第二损失函数。

3.根据权利要求1所述的一种半监督学习的训练方法，其特征在于，在采用预设的半监督学习算法优化半监督学习模型的参数之后，所述方法还包括：

判断新的标注样本和新的未标注样本是否遍历一遍；

若否，则重新进入步骤“接收新的标注样本和新的未标注样本”以进行下一次迭代；若是，则进入步骤“对历史标注样本进行聚类，计算得到聚类中心” 以进行下一次迭代。

4.根据权利要求3所述的一种半监督学习的训练方法，其特征在于，所述聚类中心的计算方式如下：

设计说明书

技术领域

本发明涉及深度学习技术领域，尤其涉及一种半监督学习的训练方法、系统和计算机可读存储介质。

背景技术

近年来，深度学习呈现井喷式的发展，在图像、语音、文字等多个领域的技术上，取得了全面的突破。以深度学习为主要技术的AI公司如雨后春笋般迅速崛起和发展，并带来许多典型的AI应用场景，如人脸检测、图像识别、语音识别、文字识别、智能监控、场景识别等。这些AI技术已经渗透到人们工作和生活的方方面面，比如手机上的人脸解锁、支付宝的“刷脸”支付、手机拍照时的美颜效果、人脸检测等。这些成功的背后，除了硬件的不断的革新，深度学习算法的不断突破外，更为重要的是日益增大的数据规模。

在这些深度学习技术中，应用最为广泛的还是监督学习，即训练过程中所有的数据都是有标注的。在监督学习中，收集大量标注数据对于提高深度学习模型的识别或者检测准确率非常重要。但是，在实际应用中，图像的标注是一件非常费时费力的事，特别是在工业生产领域，要想使识别精度达到生产要求，收集各类样本需要投入大量的人力物力，而且经常还受到产能的限制，使收集工作几乎难以实现。在此背景之下，一种半监督学习技术应运而生，它旨在通过少量的标注样本和大量的未标注数据来提供高度模型的性能。这也是本专利研究的主要内容。

到目前为止，关于半监督学习的研究工作越来越多，而且也越来越成熟。其中，一类较为常见的思路或方法，是通过增加一些规则约束项来惩罚同样的数据在不同扰动下的一致性，或者强化数据之间的相关性。这类方法可以缓解因少量标注数据而产生的过拟合现象，并能生成一个更稳定、更鲁棒的映射模型。他们甚至在一些公开的数据集上，已经取得了不亚于监督学习的成绩。然而，这些方法在设计约束的时候，将所有样本进行平等对待，忽略了标注数据和非标注数据之间的本质区别，即相比于非标注数据，标注数据具有更多的有效信息。

当前的半监督学习可大致分为三类：1）基于图模型的半监督学习，2）基于扰动的半监督学习，3）基于生成模型的半监督学习。

1）基于图模型的半监督学习

基于图模型的学习方法定义了一种相似性图。图中的顶点表示输入样本，边表示样本之间的相似性。基于样本之间的相似性，将有标签的样本在整个图上进行不断的传播，从而完成对未标注样本进行标签预测。其中，这种相似性通常是用高斯核函数来进行计算的。简而言之，在训练时，这类方法除了需要优化一个带标签数据的监督学习损失函数外，还需要增加一个基于图的正则化约束。目前，一些人提出一种标签扩散的半监督学习方法：首先度量了有标签数据与其邻域之间的相似性，然后基于这种相似性将标签传递到未标注的数据上。另一些人提出了一种子图划分的方法，即先在子图上进行标签的扩散，然后全局优化子图之间的信息。这些方法都是通过动态的构图相似图来辅助进行监督学习的任务，但这些方法没有考虑到不同扰动下模型的鲁棒性和平滑性，因此通过训练获得到的模型在性能上要远远低于最新的半监督学习方法。

2）基于扰动的半监督学习

当对输入样本进行不同的扰动时，通过深度模型得到预测值应该是一致的。基于这种假设，很多扰动的半监督学习方法陆续被提出来。比如，Rasmus等人约束在噪声干扰下，同一个样本其对应的预测标签应该保持一致。Laine等人提出了II 模型和TemporalEnsembling模型。II模型在对输入进行不同扰动和dropout条件下，对样本进行两次预测，并约束它们的预测值应该是一致的。进而，Temporal Ensembling模型通过对训练样本进行指数移动的均值（Exponential Moving Average，简称EMA）预测，来提升预测值得鲁棒性。Tarvainen等人提出使用EMA来均值化模型的权重，从而可以进一步提升模型的性能。这是因为相比于直接进行模型预测，均值化操作可以平滑一些不稳定的噪声，产生更为准确的模型。与II 模型类似，Miyato等人也是约束样本对扰动的鲁棒性，但是不同的是使用了对抗扰动。Luo等人在对扰动的鲁棒性基础上，约束了相似样本之间应该保持平滑的过渡。这些方法虽然在一些公开的数据集上，可以取得令人惊艳的结果，但是他们将标注样本和非标注样本等同对待。

3）基于生成模型的半监督学习

生成模型很早就已经应用到半监督学习中。它采用一个概率模型，设计图

一种半监督学习的训练方法、系统和计算机可读存储介质论文和设计

一种半监督学习的训练方法、系统和计算机可读存储介质论文和设计-别晓辉

全文摘要

主设计要求

设计方案

相关信息详情

猜你喜欢