一种人脸检测方法论文和设计-殷绪成

全文摘要

本发明公开了一种人脸检测方法，包括以下步骤：1、输入图像首先通过图像金字塔按照一定的比例缩放到不同的大小，然后以滑动窗口的方式依次通过第一级网络，粗略的预测出人脸的坐标和人脸的置信度以及人脸的朝向，之后，按照置信度排名过滤掉大部分的负样本，并将剩下的图像块送入第二级网络；2、第二级网络进一步过滤掉非人脸的样本并回归出更加精确的位置坐标，给出人脸朝向的预测结果；3、角度仲裁机制将结合前两个网络的预测结果对每个样本的旋转角度做出最终仲裁；4、每个图像块按照角度仲裁机制所仲裁的结果转正，然后送入第三级网络做精调，以预测出关键点的位置。本发明实现了将任意旋转角度的人脸对齐到了标准人脸的位置。

主设计要求

1.一种人脸检测方法，其特征在于，包括以下步骤：步骤1、把输入的图像通过图像金字塔，并按照一定比例缩放成不同大小的图像，然后以滑动窗口的方式依次通过第一级网络，粗略的预测出人脸的坐标和人脸的置信度以及第一级网络人脸朝向的预测结果，按照置信度排名以过滤掉负样本，再将过滤掉负样本之后剩下的图像块样本送入第二级网络；步骤2、第二级网络进一步过滤掉非人脸的样本，并回归出更加精确的位置坐标，以得出第二级网络人脸朝向的预测结果；步骤3、角度仲裁机制结合第一级网络人脸朝向的预测结果和第二级网络人脸朝向的预测结果，对每个图像块样本的旋转角度做出最终仲裁；步骤4、按照角度仲裁机制所仲裁的旋转角度，把每个图像块样本转正，并送入第三级网络做精调，以预测出人脸的关键点的位置；所述第一级网络和第二级网络均包括：人脸\/非人脸分类任务、人脸边界框回归任务和角度分类任务的训练任务；所述第三级网络包括：人脸\/非人脸分类任务、人脸边界框回归任务和人脸关键点回归任务的训练任务；人脸分类损失函数定义为交叉熵损失函数：其中，yf表示训练样本的分类标注，下标f表示人脸分类任务，当输入为正样本时，yf＝1，否则，yf＝0，其中，为人脸分类预测结果，log表示自然对数，角度分类损失函数定义为：其中，aj表示训练数据的旋转方向标注，当输入样本的旋转角度落在第j个旋转角度附近时，aj＝1，否则，aj＝0，在训练中，T＝4，T表示四种不同的旋转角度，Sj表示网络预测输入样本落在第j个角度的概率，log表示自然对数，人脸边界框的回归采用欧式距离损失函数，边界框的回归目标包括以下四项，分别表示四个坐标的相对偏移量：其中，表示左上点横坐标的相对偏移量，表示左上点纵坐标的相对偏移量，表示右下点横坐标的相对偏移量，表示右下点纵坐标的相对偏移量，和表示预测的宽和高，(x1，y1)，(x2，y2)分别表示训练数据中每个人脸边框的左上点坐标和右下点坐标，分别表示网络预测的边框的左上点坐标和右下点坐标；通过如下的损失函数来训练人脸的关键点位置：其中，N表示训练进程中每个簇的大小，M表示每张人脸上关键点个数，θn表示训练中第n张人脸两只眼睛的连线与图片横轴的夹角，cos表示余弦三角函数，表示第n张人脸第m个关键点预测值值与真实值之间的距离，表示二范数，wn表示对第n个训练样本的大姿态惩罚项，具体计算过程如下：1)将除鼻尖外的四个关键点相互连接构成四条边界线；2)计算鼻尖到其最近边界线的相对距离c；3)判断鼻尖是否超出边界；4)如果鼻尖在边界内，则wn＝1-c，否则，wn＝1。

设计方案

1.一种人脸检测方法，其特征在于，包括以下步骤：

步骤1、把输入的图像通过图像金字塔，并按照一定比例缩放成不同大小的图像，然后以滑动窗口的方式依次通过第一级网络，粗略的预测出人脸的坐标和人脸的置信度以及第一级网络人脸朝向的预测结果，按照置信度排名以过滤掉负样本，再将过滤掉负样本之后剩下的图像块样本送入第二级网络；

步骤2、第二级网络进一步过滤掉非人脸的样本，并回归出更加精确的位置坐标，以得出第二级网络人脸朝向的预测结果；

步骤3、角度仲裁机制结合第一级网络人脸朝向的预测结果和第二级网络人脸朝向的预测结果，对每个图像块样本的旋转角度做出最终仲裁；

步骤4、按照角度仲裁机制所仲裁的旋转角度，把每个图像块样本转正，并送入第三级网络做精调，以预测出人脸的关键点的位置；

所述第一级网络和第二级网络均包括：人脸\/非人脸分类任务、人脸边界框回归任务和角度分类任务的训练任务；所述第三级网络包括：人脸\/非人脸分类任务、人脸边界框回归任务和人脸关键点回归任务的训练任务；

人脸分类损失函数设计说明书

技术领域

本发明涉及计算机视觉领域的人脸检测技术领域，具体涉及一种人脸检测方法。

背景技术

人脸检测在身份认证、安防、媒体和娱乐等领域有着广泛的应用，人脸检测问题起源于人脸识别，是实现人脸识别的关键步骤，特别是在开放场景中，由于人脸在姿态、光照、尺度等方面的多样性，给人脸及其关键点检测带来巨大挑战，在过去的十多年里，计算机视觉领域涌现出大量的方法来提高机器检测人脸的能力，传统的人脸检测方法根据实现机理可以分为基于几何特征的方法，基于肤色模型的方法和基于统计理论的方法，其中，基于几何特征的方法主要利用人类面部器官体现出的几何特征实现人脸检测；基于肤色模型的方法认为人脸的肤色与非人脸区域具有显著区别；基于统计理论的方法是利用统计分析与机器学习的方法来寻找出人脸样本与非人脸样本各自的统计特征，再使用各自的特征构建分类器，这类方法包括子空间方法，神经网络方法，支持向量机方法，隐马尔可夫模型方法和Boosting方法，随着近年来算力和数据的空前增加，基于CNN的方法全面超越了前述的传统方法，很多方法被提出用来解决非约束场景下人脸检测的问题。

本发明聚焦于解决平面旋转不变的人脸及其关键点检测问题，相比于俯仰和侧脸，平面旋转的人脸具有与正面人脸相同的语义信息，因此解决这一问题对于后续的人脸识别、面部分析等工作具有重要意义。为了解决旋转不变的人脸检测，Huang Chang等人在2007年论文(Huang C,Ai H,Li Y,et al.High-Performance Rotation InvariantMultiview Face Detection[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2007,29(4):671-686.)采用分而治之的策略，即对于不同角度的人脸采用不同的检测器，每个检测器只对一个小范围内的旋转人脸鲁棒，取他们的综合结果作为最后的预测输出。STN(Jaderberg M,Simonyan K,Zisserman A,et al.Spatial TransformerNetworks[J].2015.)通过在训练中学习旋转矩阵实现对目标的旋转不变性，但这种方法同时只对一个目标有效。最近，Shi等人2018年的论文(Shi X,Shan S,Kan M,et al.Real-Time Rotation-Invariant Face Detection with Progressive Calibration Networks[J].2018.)提出用级联的方法，由粗到精的学习旋转角度，从而达到对人脸检测的旋转不变，但其检测结果仍然需要额外的关键点信息来实现人脸对齐。

Sun Yi等人的论文(Sun Y,Wang X,Tang X.Deep Convolutional NetworkCascade for Facial Point Detection[C]\/\/Computer Vision and PatternRecognition,2013 IEEE Conference on.IEEE,2013.)首次将深度学习引入人脸关键点检测任务，TCDCN(Zhang Z,Luo P,Loy C C,et al.Facial Landmark Detection by DeepMulti-task Learning[C]\/\/European Conference on Computer Vision.Springer,Cham,2014.)利用和人脸关键点紧密相关的表情、性别等属性提高对关键点检测的鲁棒性，但是这些方法都与人脸检测分离，使得这类方法对前一步的检测结果具有较大的依赖，HyperFace(Ranjan R,Patel V M,Chellappa R.HyperFace:A Deep Multi-task LearningFramework for Face Detection,Landmark Localization,Pose Estimation,and GenderRecognition[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2018,PP(99):1-1.)将更多的属性标签加入训练任务，通过多任务学习提高关键点回归的准确度，然而，过多的学习任务带来了更大的计算量和更多的运行时间，对于人脸检测这种对实时性要求很高的任务来说，这种方法显然有很多局限性。

级联的思想在传统方法中就得到了广泛的应用，例如Adboost类的方法，随着CNN的崛起，多阶段级联的CNN方法也应运而生，与单阶段的方法如SSD(Liu W,Anguelov D,Erhan D,et al.SSD:Single Shot MultiBox Detector[J].2015.)和YOLO(Redmon J,Divvala S,Girshick R,et al.You Only Look Once:Unified,Real-Time ObjectDetection[J].2015.)相比，级联的结构可以在不明显降低性能的同时大幅提高方法的运行速度。原理在于在级联网络中，大多数的负样本可以被前面的网络过滤掉，使得后面的网络只聚焦在提高对困难样本的分类能力上，这种策略可以显著节省网络参数和计算量。

发明内容

针对现有技术的不足，本发明的目的是提供一种人脸检测方法，该检测方法实现了在检测人脸的同时预测人脸平面旋转角度，然后根据旋转角度将人脸转正，在此基础上回归出人脸面部特征的关键点。

为实现本发明的目的，采取以下的技术方案：一种人脸检测方法，包括以下步骤：

步骤1、输入图像首先通过图像金字塔按照一定的比例缩放到不同的大小，然后以滑动窗口的方式依次通过第一级网络，粗略的预测出人脸的坐标和人脸的置信度以及人脸的朝向(人脸的朝向可以为：朝上、朝下、朝左或朝右)，之后，按照置信度排名过滤掉大部分的负样本，并将剩下的图像块送入第二级网络；

步骤2、第二级网络进一步过滤掉非人脸的样本并回归出更加精确的位置坐标，给出人脸朝向的预测结果；

步骤3、角度仲裁机制将结合前两个网络的预测结果对每个样本的旋转角度做出最终仲裁；

步骤4、最后每个图像块按照角度仲裁机制所仲裁的结果转正，并送入第三级网络做最后的精调，以预测出关键点的位置。

人脸分类损失函数设计图

一种人脸检测方法论文和设计

一种人脸检测方法论文和设计-殷绪成

全文摘要

主设计要求

设计方案

相关信息详情

猜你喜欢