wflw数据集_人脸关键点检测的数据集与核心方法发展综述

来源｜言有三《深度学习之人脸图像处理：核心技术与案例实践》
作者｜@言有三

本文内容节选自言有三新书《深度学习之人脸图像处理：核心技术与案例实践》，重点阐述人脸关键点任务，包括其关键点检测数据集的发展、核心算法以及未来展望。

1、什么是关键点检测？

人脸关键点检测是指给定人脸图像，定位出人脸面部的关键点，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓区域的点，由于受到姿态和遮挡等因素的影响，人脸关键点检测是一个富有挑战性的任务。

人脸关键点是人脸各个部位的重要特征点，通常是轮廓点与角点，下图是使用OpenCV Dlib库对一张正脸图像的68个面部关键点检测结果。

其中点代表位置，数字代表序号。人脸关键点可以有以下主要应用：

(1) 人脸姿态对齐，人脸识别等算法都需要对人脸的姿态进行对齐从而提高模型的精度。 (2) 人脸美颜与编辑，基于关键点可以精确分析脸型、眼睛形状、鼻子形状等，从而对人脸的特定位置进行修饰加工，实现人脸的特效美颜，贴片等娱乐功能，也能辅助一些人脸编辑算法更好地发挥作用。 (3)人脸表情分析，基于关键点可以对人的面部表情进行分析，从而用于互动娱乐，行为预测等场景。

2、人脸关键点标注点数发展

关键点能够反映各个部位的脸部特征，随着技术的发展和对精度要求的增加，人脸关键点的数量经历了从最初的5个点到如今超过200个点的发展历程，在人脸等算法上拥有领先技术优势的商汤科技先后定出过106个关键点等行业标准。

2.1 4点、5点、6点标注

人脸面部最关键的有5个点，分别为左右两个嘴角，两个眼的中心，鼻子，这5个关键点属于人脸内部关键点，根据它们就可以计算出人脸的姿态。当然早期也有标注4个点以及6个点的方案。 2005年发布的 FRGC-V2（Face Recognition Grand Challenge Version2.0）中标注了双眼、鼻子、嘴巴、下巴共5个关键点。 2007年发布的Caltech 10000 Web Faces数据集中标注了双眼、鼻子和嘴巴共4个关键点。 2013年的AFW数据集中标注了双眼、鼻子、嘴唇共6个关键点，其中嘴唇有3个点。 2014年发布的MTFL/MAFL数据集中标注了双眼、鼻子和2个嘴角共5个关键点。

2.2 21点，29点标注

2011年发布的AFLW（Annotated Facial Landmarks in the wild）数据集是一个人脸关键点检测领域里非常重要的评测基准，它包含多姿态、多视角，有25993幅从Flickr网站采集的人脸图像，其中每个人脸标定21个关键点。 这21个关键点的描述如下： 眼睛和眉毛相关的总共有12个点：左眉毛左角（Left Brow Left Corner）、左眉毛中心（Left Brow Center）、左眉毛右角（Left Brow Right Corner）、右眉毛左角（Right Brow Left Corner）、右眉毛中心（Right Brow Center）、右眉毛右角（Right Brow Right Corner）、左眼睛左角（Left Eye Left Corner）、左眼睛中心