低质量人脸图像增强方法、系统、设备及存储介质与流程

本发明涉及图像处理技术领域，特别是涉及一种低质量人脸图像增强方法、系统、设备及存储介质。

背景技术：

随着人脸识别性能的提升，人脸识别技术逐渐落地，应用到现实各个领域中。人脸识别系统的一般需要在应用场景中采集或抓取目标人的现场照片，将其与本人的证件照，或者检索库中的照片一起提取人脸特征，根据两者人脸特征比对的相似程度实现人脸识别。

然而，在一些应用场景中，由于存在现场环境不可控，用户无法配合等因素，往往抓取不到高质量的人脸照片，从而影响人脸特征的提取，从而影响人脸相似度的比对。低质量图像是指图像存在模糊、噪声、低分辨率、过暗或过曝等情况，比如：动态监控场景，天气因素会导致拍摄出不同亮度的图像，甚至参数欠曝光或者过曝光的情况；夜晚中由于光照严重不足，会产生非常严重的图像噪声；由于人物一般处于移动状态，拍摄到的人物也存在严重的模糊。在实际应用中，拍摄到的人脸图像往往质量很低，并且形成的原因非常复杂。低质量图片往往会极大的降低人脸识别系统的性能，因此，提升人脸图像质量，进而提升人脸识别系统性能，在许多应用场景，都具有非常重要的意义，是该类应用领域中的一个迫切需求。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种低质量人脸图像增强方法、系统、设备及存储介质，用于解决现有技术中增强低质量人脸图像以提高人脸识别准确率的问题。

为实现上述目的及其他相关目的，本发明提供一种低质量人脸图像增强方法，包括：

基于图像处理方法合成低质量人脸图像；

计算所述低质量人脸图像关于其五官区域的人脸权重矩阵；

构造深层神经网络，使用低质量人脸图像、真实图像以及相对应的人脸权重矩阵作为训练集来拟合参数，生成图像增强模型；

利用所述图像增强模型对输入低质量人脸图像处理，以增强图像低质量人脸图像。

本发明的另一目的在于提供一种低质量人脸图像增强系统，包括：

低质量人脸图像生成模块，用于基于图像处理方法合成低质量人脸图像；

人脸权重矩阵估算模块，用于计算所述低质量人脸图像关于其五官区域的人脸权重矩阵；

图像增强模型，用于构造深层神经网络，使用低质量人脸图像、真实图像以及相对应的人脸权重矩阵作为训练集来拟合参数，生成图像增强模型；

图像恢复模块，用于利用所述图像增强模型对输入低质量人脸图像处理，以增强图像低质量人脸图像。

于本发明的另一目的在于提供一种计算设备，包括：

一个或多个处理器；和

存储器；

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。

本发明还有一目的在于存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行上述的方法中的任一方法。

如上所述，本发明的低质量人脸图像增强方法、系统、设备及存储介质，具有以下有益效果：

通过合成低质量人脸图像模拟现实环境中多种原因造成的低质量人脸图像，提高了生成图像增强模型通用性；在人脸识别过程中，利用人脸特征相似度的监督信号训练gan模型，以提升低质量人脸图像场景下人脸识别性能。对于任一张用于测试的人脸图像，经该图像增强模型处理后，均可以生成符合目标图像特征的人脸图像，也就是说，通过该图像增强模型能够自适应地对测试图像进行调整，以得到人脸美化和画质提升的人脸图像。

附图说明

图1显示为本发明提供的一种低质量人脸图像增强方法流程示意图；

图2显示为本发明提供的一种低质量人脸图像增强方法中图像增强模型训练流程图；

图3显示为本发明提供的一种低质量人脸图像增强系统结构框图；

图4显示为本发明提供的一种低质量人脸图像增强系统图像增强模型结构框图；

图5显示为本发明提供的一种包含低质量人脸图像增强方法的计算设备结构框图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，为本发明提供一种低质量人脸图像增强方法流程图，包括：

步骤s101，基于图像处理方法合成低质量人脸图像；

其中，基于图像处理方法，构造不同类型低质量人脸图像的生成模块，例如采用低光照图像、噪声图像、模糊图像、jpeg压缩失真图像、低bit图像等，在具体应用场景，可以有更多的低质量类型的生成模块；

从低质量人脸图像生成模块构成的集合mi内，随机选择n个生成模块，其中，

mi,i∈[1,n]，n为大于1的自然数。

将n个生成模块以随机顺序逐个应用到所述真实图像得到低质量人脸图像：

l＝mp(1)mp(2)…mp(n)(i)

式中，p为n个数的随机排列，l为低质量人脸图像，i为高质量人脸图像，即，真实人脸图像。

步骤s102，计算所述低质量人脸图像关于其五官区域的人脸权重矩阵；

其中，采用关键点定位模型得到低质量人脸图像中关键点坐标；

初始化得到一个与所述低质量人脸图像相同尺寸的二维矩阵，当初始值为0时，表示人脸图像中对应的位置的权重为0；

根据所述关键点坐标确定人脸图像中五官区域，而将五官区域内所对应的位置权重设为1，也可采用其他数值来表示其它不同部位具有不同的权重；

利用二维矩阵m表示所述五官区域的人脸权重矩阵；另外，也可采用像素分割的方法计算人脸权重矩阵。

步骤s103，构造深层神经网络，使用低质量人脸图像、真实图像以及相对应的人脸权重矩阵作为训练集来拟合参数，生成图像增强模型；

其中，所述生成模型g的输入为所述低质量人脸图像；所述生成模型的输出为所述增强的低质量人脸图像，即高质量复原图像；

所述判别模型d的输入为所述增强的低质量人脸图像和高质量的真实图像，所述判别模型的输出为二分类判断值，即判别模型主要区分该图像为真实图像还是复原图像，有利于后续。

步骤s104，利用所述图像增强模型对输入低质量人脸图像处理，以增强图像低质量人脸图像。

其中，当图像增强模型训练完毕后，针对输入的低质量人脸图像可直接进行复原，通过该模型处理以增强低质量人脸图像，便于后续人脸识别过程中，因人脸图像自身问题所带来的降低人脸识别准确率的问题，使图像增强模型的应用场景更真实，从而提高了人脸识别准确率。

在本实施例中，由于图像增强模型在训练时引入的各类低质量人脸图像极大的增强了训练集数据，通过前期合成各种不同种类的低质量人脸图像，使得图像增强模型在对低质量人脸图像增强时通用性大大增强，针对低质量人脸图像增强效果更佳。

请参阅图2，为本发明提供的一种低质量人脸图像增强方法中图像增强模型训练流程图，详述如下：

步骤s201，采用多组不同类型且不同低质程度的低质量人脸图像，得到每一真实图像对应的每组低质量人脸图像与人脸权重矩阵；

其中，由于低质量人脸图像是基于真实图像(真实人脸图像)转化而来，而每组低质量人脸图像有其对应的人脸权重矩阵，因此，这三者之间为一一对应关系，当然，由于同一真实图像可能是基于多种不同低质量生成模块演化而来，因此，可以多个低质量人脸图像分别对应同一真实图像。

步骤s202，采用人脸特征提取模型提取真实图像与图像增强模型生成的复原图像的特征；

具体地，使用人脸特征提取模型f，计算真实图像f(i)、f(gl)，f(i)为人脸特征提取模型提取的真实图像中人脸特征，g(l)为复原的低质量人脸图像。

步骤s203，给定训练数据，利用人脸特征相似度监督函数，基于人脸权重矩阵的图像相似度监督函数与原生的gan监督函数，训练图像增强模型。

具体地，人脸特征相似度函数：mins(f(i),f(g(l)))，其中，s为欧式距离函数中的相似度函数；基于人脸权重的图像相似度mins1(m⊙(i-g(l)))，式中，⊙表示逐元素乘法，s1为相似度函数，m为表示人脸权重矩阵，i为真实人脸图像，g(l)为复原的低质量人脸图像；其中，结合原生的gan监督函数训练基于深层神经网络的图像增强模型，由于联合了人脸特征相似度监督函数和基于人脸权重的图像相似度监督函数，只需一次模型训练，减少了图像增强模型的训练时间，极大的减少了模型的开发周期。

在本实施例中，采用上述人脸图像增强方法可有效恢复诸如动态视频件监控下等场景，低质量人脸场景下人脸图像质量，提高人脸识别系统在上述场景的中识别性能。

请参阅图3，为本发明提供一种低质量人脸图像增强系统结构框图，包括：

低质量人脸图像生成模块31，用于基于图像处理方法合成低质量人脸图像；

其中，模块生成单元，用于基于图像处理方法，构造不同类型低质量人脸图像的生成模块；

随机选择单元，用于从低质量人脸图像生成模块构成的集合mi内，随机选择n个生成模块，其中，mi,i∈[1,n]；

低质量人脸图像生成单元，用于将n个生成模块以随机顺序逐个应用到所述真实图像得到低质量人脸图像。

人脸权重矩阵估算模块32，用于计算所述低质量人脸图像关于其五官区域的人脸权重矩阵；

其中，关键点坐标生成单元，采用关键点定位模型得到低质量人脸图像中关键点坐标；

矩阵初始化单元，用于初始化得到一个与所述低质量人脸图像相同尺寸的二维矩阵；

五官提取单元，用于根据所述关键点坐标确定人脸图像中五官区域；

人脸权重矩阵单元，利用二维矩阵表示所述五官区域的人脸权重矩阵。

图像增强模型33，用于构造深层神经网络，使用低质量人脸图像、真实图像以及相对应的人脸权重矩阵作为训练集来拟合参数，生成图像增强模型；

所述生成模型的输入为所述低质量人脸图像；所述生成模型的输出为所述增强的低质量人脸图像；

所述判别模型的输入为所述增强的低质量人脸图像和高质量的真实图像，所述判别模型的输出为二分类判断值。

图像恢复模块34，用于利用所述图像增强模型对输入低质量人脸图像处理，以增强图像低质量人脸图像。

请参阅图4，本发明提供的一种低质量人脸图像增强系统图像增强模型结构框图，详述如下：

预处理单元，采用多组不同类型且不同低质程度的低质量人脸图像，得到每一真实图像对应的每组低质量人脸图像与人脸权重矩阵；

特征提取单元，采用人脸特征提取模型提取真实图像与图像增强模型生成的复原图像的特征；

模型训练单元，给定训练数据，利用人脸特征相似度监督函数，基于人脸权重矩阵的图像相似度监督函数与原生的gan监督函数，训练图像增强模型。

由于该系统与上述方法为一一对应关系，其涉及的技术细节与技术效果参照上述方法实施例，在此不一一赘述。

请参阅图5，为本发明提供一种计算设备，包括：

一个或多个处理器50；和

存储器51；

一个或多个程序(计算机程序52)，其中所述一个或多个程序存储在所述存储器中51并被配置为由所述一个或多个处理器50执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。

本发明还提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行上述的方法中的任一方法。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、cd-rom、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明所述的方法。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能

综上所述，本发明通过合成低质量人脸图像模拟现实环境中多种原因造成的低质量人脸图像，提高了生成图像增强模型通用性；在人脸识别过程中，利用人脸特征相似度的监督信号训练gan模型，以提升低质量人脸图像场景下人脸识别性能。对于任一张用于测试的人脸图像，经该图像增强模型处理后，均可以生成符合目标图像特征的人脸图像，也就是说，通过该图像增强模型能够自适应地对测试图像进行调整，以得到人脸美化和画质提升的人脸图像。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。