全文摘要
本发明属于牙科美化技术领域，特别涉及一种基于C\/S架构的牙齿美化AR智能辅助方法。具体包括：客户端拍摄或接收患者口腔视频；从患者口腔视频中选择具有代表性的图片；选中图片中待美化牙齿的位置；在图片中对应位置上生成美化后的牙齿；服务器计算患者口腔视频中待美化的牙齿的位置和颜色信息，并发送给客户端；客户端将患者口腔视频中待美化牙齿替换为美化后的牙齿；客户端向患者展示效果图片和效果视频。本发明可以方便地获取患者口腔视频、进行牙齿选取、展示美化效果，还可提供不同的治疗方案供患者选取，有效提高了患者美化的积极性。
主设计要求
1.一种牙齿美化辅助方法，其特征在于：利用客户端和服务器进行通信，所述客户端获取患者口腔信息并分析、处理，和\/或，接收用户指令，生成第一美化参考图像；所述客户端将患者口腔信息传至服务器，所述服务器分析、处理所述口腔信息并生成第二美化参考图像；利用所述客户端分别将第一美化参考图像和第二美化参考图像展示给患者，供其选择；所述的客户端按如下步骤进行牙齿美化辅助：(A)客户端拍摄或接收患者口腔视频；(B)从患者口腔视频中选择具有代表性的图片；(C)从所述图片中选中待美化牙齿的对应位置；(D)在所述对应位置上生成美化后的牙齿，获得第一美化参考图像；所述步骤B中，具有代表性的图片为三张，分别为：正面图、左侧面图和右侧面图，所述三张图片由医生手动选择或按如下步骤自动选择：(B1)将每帧图片的人脸和标准人脸模型进行比对，计算出人脸偏移角度，得到正面、左侧面、右侧面的候选图；(B2)取出候选图中的口腔区域，计算灰度图，将灰度图像每一个像素领域两个灰度差相乘后再逐个像素点累加，计算出得分，公式如下：D(f)＝∑y∑x\\|f(x,y)-f(x+1,y)\\|*\\|f(x,y)-f(x,y+1)\\|；其中，x、y分别代表像素点的横坐标和纵坐标；(B3)从候选图中选出得分最高的正面、左侧面、右侧面图像各一张，即获得所需的具有代表性的图片；所述步骤C中，对应位置的信息包括牙齿编号，具体编号方法为：沿人脸中心线向外侧将右上颌牙齿依次编为11、12、13至1m，将左上颌牙齿依次编为21、22、23至2m，将左下颌牙齿依次编为31、32、33至3m，将右下颌牙齿依次编为41、42、43至4m，其中m＝{1,2,3,4,5,6,7,8}，牙齿1m和2m互为对称，牙齿3m和4m互为对称；所述的服务器按如下步骤进行牙齿美化辅助：(E)客户端将患者口腔视频传输至服务器，服务器计算口腔视频中待美化牙齿的相关信息，并发送给客户端；(F)客户端根据接收的信息将口腔视频中待美化牙齿替换为美化后的牙齿，获得第二美化参考图像；所述步骤E中，所述相关信息包括位置信息，具体按如下步骤计算待美化牙齿的位置信息：(E1)对患者口腔视频进行解码得到关键帧图像和非关键帧图像；(E2)对于关键帧图像，采用级联的卷积神经网络CNN定位关键点坐标计算得到牙齿位置；(E3)对于非关键帧图像，采用Lucas-Kanade稀疏光流算法根据关键点坐标计算得到牙齿位置；所述的步骤E2包括如下步骤：(E21)对关键帧图像进行人脸检测，采用OpenCV视觉库带有的基于haar特征的人脸检测器进行检测，截取检测到的人脸图像，归一化为128*128大小；(E22)设置Level1的CNN网络宽为128、高为128、图像通道为3，该CNN网络中每个卷积层后有一个激活层，激活层采用Sigmoid函数作为激活函数，最后两层为全连接层；(E23)将步骤E21中归一化的人脸图像作为Level1的CNN网络输入，Level1的输出是全局预测的83个关键点的坐标值，83个关键点包括牙齿50个，嘴唇30个，鼻子1个，眼睛2个，其中牙齿的50个关键点的坐标选自步骤C中编号为11～14、21～24、31～34、41～44这16颗牙齿；(E24)对于所述16颗牙齿，以每颗牙齿为中心截取18*18像素大小的图像作为Level2的CNN网络输入，Level2的CNN网络输出对每颗牙齿周围4个关键点进行重新预测，得到预测后16颗牙齿周围50个关键点的坐标，其中相邻牙齿左右共用一个关键点的坐标，共用的关键点的坐标值取两个牙齿预测的平均值；(E25)根据待美化牙齿的编号确定其周围4个关键点的编号；(E26)根据步骤E25中输出的50个关键点坐标值得到待美化牙齿周围四个关键点坐标；(E27)根据待美化牙齿周围四个关键点坐标得到该牙齿在该关键帧中的位置信息。
设计方案
1.一种牙齿美化辅助方法，其特征在于：
利用客户端和服务器进行通信，
所述客户端获取患者口腔信息并分析、处理，和\/或，接收用户指令，生成第一美化参考图像；
所述客户端将患者口腔信息传至服务器，所述服务器分析、处理所述口腔信息并生成第二美化参考图像；
利用所述客户端分别将第一美化参考图像和第二美化参考图像展示给患者，供其选择；
所述的客户端按如下步骤进行牙齿美化辅助：
(A)客户端拍摄或接收患者口腔视频；
(B)从患者口腔视频中选择具有代表性的图片；
(C)从所述图片中选中待美化牙齿的对应位置；
(D)在所述对应位置上生成美化后的牙齿，获得第一美化参考图像；
所述步骤B中，具有代表性的图片为三张，分别为：正面图、左侧面图和右侧面图，所述三张图片由医生手动选择或按如下步骤自动选择：
(B1)将每帧图片的人脸和标准人脸模型进行比对，计算出人脸偏移角度，得到正面、左侧面、右侧面的候选图；
(B2)取出候选图中的口腔区域，计算灰度图，将灰度图像每一个像素领域两个灰度差相乘后再逐个像素点累加，计算出得分，公式如下：
D(f)＝∑y∑x|f(x,y)-f(x+1,y)|*|f(x,y)-f(x,y+1)|；
其中，x、y分别代表像素点的横坐标和纵坐标；
(B3)从候选图中选出得分最高的正面、左侧面、右侧面图像各一张，即获得所需的具有代表性的图片；所述步骤C中，对应位置的信息包括牙齿编号，具体编号方法为：沿人脸中心线向外侧将右上颌牙齿依次编为11、12、13至1m，将左上颌牙齿依次编为21、22、23至2m，将左下颌牙齿依次编为31、32、33至3m，将右下颌牙齿依次编为41、42、43至4m，其中m＝{1,2,3,4,5,6,7,8}，牙齿1m和2m互为对称，牙齿3m和4m互为对称；
所述的服务器按如下步骤进行牙齿美化辅助：
(E)客户端将患者口腔视频传输至服务器，服务器计算口腔视频中待美化牙齿的相关信息，并发送给客户端；
(F)客户端根据接收的信息将口腔视频中待美化牙齿替换为美化后的牙齿，获得第二美化参考图像；
所述步骤E中，所述相关信息包括位置信息，具体按如下步骤计算待美化牙齿的位置信息：
(E1)对患者口腔视频进行解码得到关键帧图像和非关键帧图像；
(E2)对于关键帧图像，采用级联的卷积神经网络CNN定位关键点坐标计算得到牙齿位置；
(E3)对于非关键帧图像，采用Lucas-Kanade稀疏光流算法根据关键点坐标计算得到牙齿位置；
所述的步骤E2包括如下步骤：
(E21)对关键帧图像进行人脸检测，采用OpenCV视觉库带有的基于haar特征的人脸检测器进行检测，截取检测到的人脸图像，归一化为128*128大小；
(E22)设置Level1的CNN网络宽为128、高为128、图像通道为3，该CNN网络中每个卷积层后有一个激活层，激活层采用Sigmoid函数作为激活函数，最后两层为全连接层；
(E23)将步骤E21中归一化的人脸图像作为Level1的CNN网络输入，Level1的输出是全局预测的83个关键点的坐标值，83个关键点包括牙齿50个，嘴唇30个，鼻子1个，眼睛2个，其中牙齿的50个关键点的坐标选自步骤C中编号为11～14、21～24、31～34、41～44这16颗牙齿；
(E24)对于所述16颗牙齿，以每颗牙齿为中心截取18*18像素大小的图像作为Level2的CNN网络输入，Level2的CNN网络输出对每颗牙齿周围4个关键点进行重新预测，得到预测后16颗牙齿周围50个关键点的坐标，其中相邻牙齿左右共用一个关键点的坐标，共用的关键点的坐标值取两个牙齿预测的平均值；
(E25)根据待美化牙齿的编号确定其周围4个关键点的编号；
(E26)根据步骤E25中输出的50个关键点坐标值得到待美化牙齿周围四个关键点坐标；
(E27)根据待美化牙齿周围四个关键点坐标得到该牙齿在该关键帧中的位置信息。
2.如权利要求1所述的牙齿美化辅助方法，其特征在于：所述的步骤E3中，对两个相邻关键帧：第i帧和第i+k帧之间的非关键帧按如下步骤进行跟踪：
(E31)对于非关键帧：第i+1～第i+k\/2帧的跟踪方法为：选取第i帧作为首帧初始化，以第i帧的位置预测第i+1帧的位置，再以第i+1帧的位置预测第i+2帧的位置，以此类推，跟踪至第i+k\/2帧；
(E32)对于非关键帧：第i+k\/2+1～第i+k-1帧的跟踪方法为：选取第i+k帧作为首帧初始化，以第i+k帧的位置预测第i+k-1帧的位置，再以第i+k-1帧的位置预测第i+k-2帧的位置，以此类推，跟踪至第i+k\/2+1帧；
和\/或；
按以下步骤对所述跟踪处理后的非关键帧图像中的每个关键点进行平滑处理：
(E33)对于任一关键点，选定二次方程f(z)＝b0<\/sub>+b1<\/sub>z+b2<\/sub>z2<\/sup>；
(E34)带入两个关键帧以及两个关键帧之间所有非关键帧的值(h，dh<\/sub>)，h∈[0,H]，其中H为两个关键帧加上关键帧之间非关键帧的个数总和，以两个关键帧中索引值更小的关键帧作为第0帧进行重新编号，h表示重新编号后的第h帧，dh<\/sub>表示第h帧中该关键点的坐标值；
(E35)定义一个损失函数Q＝∑h<\/sub>(f(z)-b0<\/sub>-b1<\/sub>z-b2<\/sub>z2<\/sup>)，h∈[0,H],分别将横坐标z值和纵坐标f(z)值带入所述损失函数Q，分别求出使Q值达到最小的b0<\/sub>、b1<\/sub>、b2<\/sub>，获得两个不同的曲线方程；
(E36)将h分别带入所述两个曲线方程，计算即得非关键帧中该关键点平滑后的坐标值。
3.如权利要求1所述的牙齿美化辅助方法，其特征在于：所述步骤E中的相关信息还包括颜色信息；所述的步骤E还包括：(E4)计算待美化牙齿的颜色信息；所述E4的具体步骤包括：
(E41)根据步骤E26输出的50个关键点坐标值截取每帧中的全牙齿区域；
(E42)选取LAB空间，分别在L、A、B通道下计算全牙齿区域所有像素的平均值得到(La_i，Aa_i，Ba_i)，其中a代表全牙齿区域，i代表第i帧；
(E43)以正面图的LAB值(La_front，Aa_front，Ba_front)为基准，按如下公式分别往前往后计算每帧中每个通道的变化值：
设计说明书
技术领域
本发明涉及牙科美化技术领域，特别涉及一种基于C\/S架构的牙齿美化AR智能辅助方法。
背景技术
牙齿美化包括牙齿的修复、矫正、美白、牙齿移动及其它牙齿美容\/整形项目。目前的牙齿美化普遍耗时长、价格高，患者在不确定美化后牙齿视觉效果的情况下，很可能更倾向于不接受美化。同时，因为无法提前看到美化后的效果，也无法直接参与美化方案设计过程，所以患者基本只能依靠和医生的口头沟通来选择方案，这也很可能导致患者对最终的美化结果并不满意。如果患者能参与到设计自己牙齿美化方案的过程中，且医生能提前给患者展示美化后的多种方案效果，让患者在牙医提供的几种美化方案中进行选择，将极大提高患者接受美化的积极性。目前，面对上述问题，解决方案主要是在PC机上对患者牙齿图片视频进行换牙处理，然而PC机存在操作不方便、便携度和灵活性不够等问题；若直接将辅助系统部署在智能终端上，又存在计算能力不足、存储空间不够等缺点。
发明内容
本发明的目的在于提供一种基于C\/S架构的牙齿美化的AR智能辅助方法，方便展示校正效果，提高医患沟通效率。
为实现以上目的，本发明采用的技术方案为：一种牙齿美化辅助方法，利用客户端和服务器进行通信，
所述客户端获取患者口腔信息并分析、处理，和\/或，接收用户指令，生成第一美化参考图像；
所述客户端将患者口腔信息传至服务器，所述服务器分析、处理所述口腔信息并生成第二美化参考图像；
利用所述客户端分别将第一美化参考图像和第二美化参考图像展示给患者，供其选择。
所述的客户端按如下步骤进行牙齿美化辅助：
(A)客户端拍摄或接收患者口腔视频；
(B)从患者口腔视频中选择具有代表性的图片；
(C)从所述图片中选中待美化牙齿的对应位置；
(D)在所述对应位置上生成美化后的牙齿，获得第一美化参考图像。
所述的服务器按如下步骤进行牙齿美化辅助：
(E)客户端将患者口腔视频传输至服务器，服务器计算口腔视频中待美化牙齿的相关信息，并发送给客户端；
(F)客户端根据接收的信息将口腔视频中待美化牙齿替换为美化后的牙齿，获得第二美化参考图像。
与现有技术相比，本发明的有益效果如下：
本发明的客户端和服务器可以分别提供不同的美化参考图像。客户端可以基于患者本身的牙齿，或基于数据库的数据，快速生成一个美化参考图像，且患者可以参与到该美化参考图像的生成过程中。与此同时，客户端还将口腔视频信息传至服务器，服务器解决了客户端计算能力不足、存储空间不够等缺点，可以运用强大的计算能力计算出另一个更为客观的美化参考图像。
客户端可以同时向客户展示客户端和服务器分别生成的多个美化参考图像，有效避免了纯算法得到的客观美化参考图像不符合患者的心理预期，也避免了人为参与生成的美化参考图像出现主观失误等情况。使用本发明，患者的等待时间短、参与感强，且可以从多个美化参考图像中选择最满意、最适合自己的方案；有效提高了患者美化的积极性。
附图说明
图1是本发明的流程示意图；
图2是本发明中牙齿编号示意图；
图3是本发明客户端编辑牙齿的示意图；
图4是本发明中要检测的83个关键点位置示意图；
图5是本发明中CNN级联网络的整体架构示意图；
图6是CNN级联网络level1的CNN网络结构；
图7是CNN级联网络level2的CNN网络结构。
具体实施方式
如背景技术中所述，本文所述牙齿美化具体包括牙齿的修复、矫正、美白、牙齿移动及其它牙齿美容\/整形项目。下面结合图1至图7，对本发明做进一步详细叙述。
如图1所示，一种基于C\/S架构的牙齿美化的AR智能辅助方法，包括客户端和服务器。C\/S，即客户端和服务器结构，通过它可以充分利用两端硬件环境的优势，将任务合理分配到Client端和Server端分别实现，降低系统的通讯开销。AR为Augmented Reality的简称，即增强现实，其通过电脑技术，将虚拟的信息应用到真实世界。本发明创造性地将C\/S、AR技术应用到牙齿美化领域，帮助客户预先感受美化后牙齿的视觉效果。
具体为：一种牙齿美化辅助方法，利用客户端和服务器进行通信，
所述客户端获取患者口腔信息并分析、处理，和\/或，接收用户指令，生成第一美化参考图像；
所述客户端将患者口腔信息传至服务器，所述服务器分析、处理所述口腔信息并生成第二美化参考图像；
利用所述客户端将客户端和服务器分别生成的美化参考图像展示给患者，供其选择。
所述的客户端按如下步骤进行牙齿美化辅助：
(A)客户端拍摄或接收患者口腔视频；
(B)从患者口腔视频中选择具有代表性的图片；
(C)从所述图片中选中待美化牙齿的对应位置；
(D)在所述对应位置上生成美化后的牙齿，获得第一美化参考图像。
所述的服务器按如下步骤进行牙齿美化辅助：
(E)客户端将患者口腔视频传输至服务器，服务器计算口腔视频中待美化牙齿的相关信息，并发送给客户端；
(F)客户端根据接收的信息将口腔视频中待美化牙齿替换为美化后的牙齿，获得第二美化参考图像。
下面对各步骤进行详细说明。
(A)客户端拍摄或接收患者口腔视频。
这里的客户端一般可以用智能终端，比如智能手机、平板电脑，现在智能手机非常普及，其便携性和功能性越来越强，非常适合作为客户端。同时，所述患者口腔视频，可以通过专业的相机等设备拍摄后传输至客户端中，或者直接用客户端进行拍摄获取。不论哪种情况，在拍摄视频时，应使用支架等工具来辅助，使视频录制更佳平稳，减少抖动模糊等影响，使得录制视频的质量更高，这样后续处理更为准确。
(B)从患者口腔视频中选择选取具有代表性的图片。
同时选择正面、左侧面、右侧面三张图片。图片可以由系统自动来选择，也可以由医生手动选择。需要注意的是，选择出来的图片质量越好，后续的牙齿位置、颜色识别越准确。所述图片为患者的有效信息展示图，有效信息包括日常生活中的可视牙齿、嘴唇、眼睛和鼻子，不包括脸颊，也不包括正常情况下的非可视牙齿。为了方便展示和操作，本发明如图4所示，以正面图为示例。
当由医生手动选取时，一方面会加大医生工作量，另一方面受主观因素影响，不容易选择质量最佳的图片，因此这里还提供了系统自动选择的步骤，降低医生工作量，提高选择客观性。当所需图片由系统自动选择时，可以采用如下步骤：
(B1)将每帧图片的人脸和标准人脸模型进行比对，计算出人脸偏移角度，得到正面、左侧面、右侧面的候选图；(B2)取出候选图中的口腔区域，计算灰度图，将灰度图像每一个像素领域两个灰度差相乘后再逐个像素累加，计算出得分，公式如下：
D(f)＝∑y∑x|f(x,y)-f(x+1,y)|*|f(x,y)-f(x,y+1)|；
其中，x、y分别代表像素点的横坐标和纵坐标；
(B3)从候选图中选出得分最高的正面、左侧面、右侧面图像各一张。
最优的方式为：由系统按上述(B1)～(B3)的步骤进行初筛，再由医生进行复筛，最终确定具有代表性的图片。
(C)选中所述图片中待美化牙齿的位置。
本步骤优选经医患充分沟通后再决定。先标记出需要美化的牙齿，再选中待美化牙齿的对应位置。选中对应位置的具体方法可以为：使用矩形框对待美化牙齿进行框选，使矩形框正好框住牙齿，即该框包含了待美化牙齿的长度和宽度，以便为后续对牙齿效果图片进行缩放时提供依据。在框选牙齿、确定对称牙齿等确认待美化牙齿的位置时，可以借助计算机算法进行选择，也可以人工选择。
如图2所示，为了更方便地确认待美化牙齿的位置及其它所需信息，还可以预先对牙齿位置进行编号。所述编号的具体方法为：沿人脸中心线向外侧将右上颌牙齿依次编为11、12、13······1m；将左上颌牙齿依次编为21、22、23、······2m；将左下颌牙齿依次编为31、32、33、······3m；将右下颌牙齿依次编为41、42、43、······4m。其中m＝{1、2、3、4、5、6、7、8}。牙齿1m和2m互为对称，牙齿3m和4m互为对称。该编号数据继续沿用到下文中服务器处理牙齿时的步骤中，具体为步骤E中。
(D)在图片中对应位置上生成美化后的牙齿，获得第一美化参考图像。
现在市面上存在大量各类牙齿数据库，由使用本辅助方法的公司\/牙科医院根据需要自行选择\/提供。所述数据库可以设置在客户端后台，也可以储存在服务器上，还可以存于其它与客户端通信连接的装置\/设备上。在确定待美化的牙齿后，可以直接从牙齿数据库中选择与之匹配的牙齿模型，并替换图片中待美化的牙齿。但如果对所有待美化的牙齿都进行如上操作，会增加数据处理量；且再完美的牙齿模型和患者自身的牙齿之间也会存在一定的差异。
因此，更优的方式为，本步骤中，对每一颗待美化牙齿按如下步骤处理：(D1)判断与待美化牙齿对称的牙齿是否需要美化，若对称牙齿不需要美化，则执行步骤D2～D4，或，执行步骤D2～D8。若对称牙齿需要美化，则直接执行步骤D5～D8。(D2)计算待美化牙齿的宽和高，将与待美化牙齿对称的牙齿按照轮廓剪裁得到替换牙齿图像。(D3)将替换牙齿图像水平镜像翻转后进行缩放处理，缩放后的替换牙齿图像宽、高与待美化牙齿的宽、高一致。(D4)将缩放后的替换牙齿图像贴到步骤C中图片的对应位置上，获得第一美化参考图像Ⅰ。(D5)根据患者年龄、性别、牙齿位置等综合信息，从牙齿模型库中选出候选牙齿模型。(D6)根据相邻未被选中的牙齿颜色，从候选牙齿模型中选出颜色最接近的替换牙齿模型。(D7)计算待美化牙齿的宽和高，将替换牙齿模型正面角度的牙齿图像进行缩放处理，缩放后的牙齿图像宽、高与待美化牙齿的宽、高一致。(D8)将缩放后的牙齿图像贴到步骤C中三张图片中对应的待美化牙齿位置上，获得第一美化参考图像Ⅱ。
应当理解的是，上述步骤的实际含义为：如若待美化牙齿的对称牙齿不需要美化，则可以只获得第一美化参考图像Ⅰ，也可以同时获得第一美化参考图像Ⅰ和第一美化参考图像Ⅱ；如若待美化牙齿的对称牙齿也需要美化，则获得第一美化参考图像Ⅱ。实际操作中，根据患者的情况进行合理的步骤选择，让患者获得更多可选项的同时也节约操作步骤。
图3展示了在一种实施方式下，在客户端上编辑待美化牙齿的界面。图3中展示的为正面图，也可以通过点击对应按钮来切换为其它图片。同时该界面增加了编辑功能，可以通过修改色调、饱和度、亮度、透明度等调整牙齿的颜色；还可以通过选择“全选、颈、中、切”等调整全牙或牙齿某部分的颜色；还可以通过取色器调取图片上相邻且无需美化牙齿的颜色作为待美化牙齿的颜色，或者预设几种牙齿颜色供选择；还可以通过“全选牙齿”的按钮统一编辑所有的牙齿，比如统一调整所有牙齿的颜色、位置等；还可以给不同编号的牙齿选取不同的牙齿模型，或给不同的方案中相同编号的牙齿选取不同的牙齿模型；还可以通过点击形态按钮调整牙齿形状；界面还包括旋转、移动、缩放、撤销、复位等功能。应当理解的是，图3展示的界面只是其中一种实施方式，实际操作中，可以根据需要对编辑功能进行取舍、增减。
在患者和医生充分沟通、共同参与的情况下，首先在客户端上使用步骤A～D生成第一美化参考图像，以供患者参考。使用这种方式，患者的等待时间短，参与感强，可以增强用户体验。在进行步骤A～D的同时，将步骤A获得的口腔信息(口腔视频)传输至服务器，在服务器和客户端上共同进行步骤E～F，生成更为客观的第二美化参考图像。因为服务器进行数据分析处理需要一定的时间，所以利用这段时间同时进行步骤A～D，也可以减少客户无事可做的等待时间，进一步增强用户体验。
步骤E～F具体如下：
(E)客户端将患者口腔视频传输至服务器，服务器计算患者口腔视频中待美化牙齿的位置信息和颜色信息，并发送给客户端。
如图4～7所示，所述步骤E中，服务器通过如下步骤计算待美化牙齿的位置信息：(E1)对患者口腔视频进行解码，得到关键帧图像和非关键帧图像。(E2)对于关键帧图像，采用级联的卷积神经网络CNN定位关键点坐标计算得到牙齿位置。(E3)对于非关键帧图像，采用Lucas-Kanade稀疏光流算法根据关键点坐标计算得到牙齿位置。此处通过关键点检测和跟踪相结合的算法来计算视频中的牙齿位置，关键点检测采用级联的卷积神经网络CNN，关键点跟踪采用Lucas-Kanade稀疏光流算法。由于关键点检测比较耗时，所以优选的方案为：只在视频的关键帧进行关键点检测，非关键帧采用稀疏光流算法进行点跟踪，以提高处理速度。
所述的步骤E2包括如下步骤：(E21)对关键帧图像进行人脸检测，采用OpenCV视觉库带有的基于haar特征的人脸检测器进行检测，截取检测到的人脸图像，归一化为128*128大小。(E22)设置Level1的CNN网络，宽为128、高为128、图像通道为3。该CNN网络中每个卷积层后有一个激活层，激活层采用Sigmoid函数作为激活函数，最后两层为全连接层。(E23)将步骤E21中归一化的人脸图像作为Level1的CNN网络输入。Level1的输出是全局预测的83个关键点，每个关键点的属性为x、y坐标值和是否被遮挡属性。如图4所示，83个关键点包括牙齿50个，嘴唇30个，鼻子1个，眼睛2个。其中，牙齿的50个关键点的坐标选自步骤C中编号为11～14、21～24、31～34、41～44的16颗牙齿。该16颗牙齿即为日常可视牙齿。由于牙齿的关键点位置和眼睛、鼻子、嘴唇的关键点位置有相对坐标关系，所以最终选择CNN网络输出的为83个关键点坐标。(E24)对于16颗牙齿，以每颗牙齿为中心截取18*18像素大小的图像作为Level2的CNN网络输入，Level2的CNN网络输出对每颗牙齿周围4个关键点的重新预测得到微调后的16颗牙齿周围50个关键点的坐标值，其中相邻牙齿左右共用一个关键点的坐标，共用关键点的坐标值取两个牙齿预测的平均值。(E25)根据待美化牙齿的编号确定其周围4个关键点的编号。(E26)根据步骤E25中输出的50个关键点坐标值得到待美化牙齿周围四个关键点坐标。(E27)根据待美化牙齿周围四个关键点坐标得到该牙齿在该关键帧中的位置信息。Level1和Level2都选择L2Loss作为损失函数，对平方差值进行求和；其公式为设计图
相关信息详情
申请码:申请号:CN201910015140.9
申请日:2019-01-08
公开号:CN109729169A
公开日:2019-05-07
国家:CN
国家/省市:90(成都)
授权编号:CN109729169B
授权时间:20191029
主分类号:H04L 29/08
专利分类号:H04L29/08;H04L29/06;G06Q30/06;G06T3/00;G06T19/00
范畴分类:39B;
申请人:成都贝施美医疗科技股份有限公司
第一申请人:成都贝施美医疗科技股份有限公司
申请人地址:610000 四川省成都市高新区天府三街199号太平洋保险金融大厦A601单元
发明人:王昌健;鄢新章;蔡洪斌;卢光辉;刘帅;张登凯
第一发明人:王昌健
当前权利人:成都贝施美医疗科技股份有限公司
代理人:刘坤
代理机构:51247
代理机构编号:成都坤伦厚朴专利代理事务所(普通合伙)
优先权:关键词:当前状态:审核中
类型名称:外观设计
标签：图像像素论文;