1.1.3 素描人脸识别数据库
1.素描人脸数据库分类
目前素描人脸识别研究采用的数据库大致可以分为以下3类，图1.1分别给出了三种类型数据库的素描人脸图像对的实例，图1.1（a）为观看素描照片，图1.1（b）为法医素描照片，图1.1（c）为合成素描照片。
（1）观看素描（Viewed Sketch）是指画师通过观看照片或本人绘制的人脸素描图像。这种情况下得到的素描样本具有比较完整的人脸特征，其脸部结构和细节描绘较为准确。匹配观看光学人脸照片和素描人脸图像的主要挑战是图像的来源不同，一个是摄像采集得到，另一个是素描绘画得到，且画师的绘画风格也会对素描人脸的识别结果造成一定的影响。
（2）法医素描（Forensic Sketch）是指专门绘制嫌疑人画像的法医专家根据受害者或目击者的描述绘制的素描人脸图像。法医素描人脸识别最符合真实的刑侦场景，将法医绘制的素描人脸图像与照片库中的素描人脸图像进行匹配，可以缩小搜捕范围。执法人员绘制的法医素描具有重要的应用价值。然而法医素描与光学人脸照片存在的差距更大，法医素描不仅存在对面部细节描绘不准确的问题，而且人脸五官的大小和位置的扭曲也比较严重。因此，法医素描在识别中存在的困难较大。目前，法医素描识别的研究成果仍未在实际的刑侦案件中得到较好的应用。
图1.1 素描人脸图像对的分类
（3）合成素描（Composite Sketch）是指通过受害者或者目击证人的描述，由专业执法人员使用计算机软件组合而成的素描人脸图像。目前的素描人脸合成软件有FACES、PhotoFit和IdentiKit等。通过软件合成素描的过程较为快速、简单。该方法主要通过选取软件中已有的素描人脸图像的五官和发型等组件来合成人脸。制作合成素描所需要的时间较短，目前80%以上的警局采用软件合成的方式，因此合成素描在实际刑侦领域也具有很大的应用价值。但合成素描的风格会受软件素描库的风格和大小的影响，限制了素描的合成效果。
2.常用素描人脸数据库
素描人脸数据库的采集成本相对较大，因此素描人脸研究中使用的数据库较小，下面介绍目前常用的素描人脸数据库。
1）香港中文大学素描人脸库
香港中文大学素描人脸库（CUHK Face Sketch Database，CUFS）是目前应用最广泛的数据库之一。该数据库中包括CUHK学生数据库的188个样本，AR面部数据库[39]的123个样本和XM2VTS数据库[40]的295个样本，样本总数为606 个。其中，每个样本的光学人脸照片都是在正常光照条件下采集的，都是正面无表情的照片。素描人脸图像则是由绘画人员根据照片画的素描肖像，数据库中每张光学人脸照片都有一张对应的素描人脸图像。图 1.2 展示了 CUFS不同数据库的部分数据，图1.2（a）为CUHK学生人脸数据库面部照片数据，图1.2（b）为AR数据库面部照片数据，图1.2（c）为XM2VTS数据库面部照片数据。
图1.2 CUFS不同数据库的部分数据展示
2)CUHK Face Sketch FERET Database(CUFSF)
CUFSF 数据库[38，41]由香港中文大学公布，共包含 1194 个样本，每个样本都来自FERET数据库[42]。CUFSF数据库中光学人脸照片的采集过程与CUFS光学人脸照片采集过程的限制条件相同。为了能够适用在实际的应用场景中，研究人员在绘制素描人脸图像的过程中加入了轻微的形变。因此，基于该数据库的素描人脸识别更加具有挑战性。
3)PRIP Hand-Drawn Composite Dataset(PRIP-HDC)
PRIP-HDC数据库[43]包含265个样本的光学人脸照片和素描人脸图像对。该数据库由美国密西根大学发布，与香港中文大学公布的素描数据库不同，其素描人脸图像不是观看光学人脸照片绘制得到的，而是由专业人士依据目击证人或者受害者的描述绘制所得。该数据库包括Lois Gibson绘制的73个样本、Karen Taylor绘制的43个样本、皮尼拉斯警长工作室（Pinellas County Sheriff'sOffice，PCSO）提供的56个样本和美国密西根警察局提供的46个样本，另外有47个样本来自网络。由于该数据库还未完全公开，目前仅可以得到其中来自网络得到的47个样本的光学人脸照片和素描人脸图像对。
4)PRIP Viewed Software-Generated Composite Dataset(PRIP-VSGC)
PRIP-VSGC数据库[44]是由美国密西根大学公布的素描人脸库，包括AR数据库中的 123 个样本。其中，每个样本的光学人脸照片都采用 FACES 合成软件合成了对应的两幅素描人脸图像，采用IdentiKit合成软件合成了对应的一幅素描人脸图像，最终得到了每个样本的光学人脸照片和其对应的三张合成素描人脸图像。由于知识产权的原因，目前只能获得IdentiKit合成的123张素描人脸图像。图1.3为该数据库照片和对应的合成素描实例。
图1.3 PRIP-VSGC数据库照片和对应的合成素描实例
5)IIIT-D Viewed Sketch Database
IIIT-D Viewed Sketch Database[45]是由印度德里实验室发布的素描人脸数据库。该数据库包含三种类型的素描：观看素描、半法医素描和法医素描。观看素描具有238个样本，包含FG-NET数据库的67个样本、LFW数据库中的99个样本和IIIT-D Viewed Sketch Database中的72个样本，其中素描人脸图像是由专家观看光学人脸照片绘制所得。IIIT-D Viewed Sketch Database的半法医素描是从观看素描的238张光学人脸照片中选择了140张，由素描专家观看后，根据记忆绘制所得。法医素描是艺术家根据目击者的描述绘制所得，共190对光学人脸照片和素描人脸图像。其中，素描包含Lois Gibson绘制的92张素描人脸图像、Karen Taylor绘制的37张素描人脸图像和互联网收集的61张光学人脸照片所绘制的素描人脸图像。
6）CASIA-WebFace数据库
CASIA-WebFace 数据库[46]是中国科学院自动化研究所从互联网中收集的大规模人脸数据库。CASIA-WebFace数据库包含了从1940年到2014年IMDB网站上的所有名人照片，涵盖各个年龄、表情、光照环境下的未对齐人脸图像。经过筛选和过滤最终得到了包含 10575 个类别的 494414 张图像，平均每人对应46张。图1.4为CASIA-WebFace数据库的部分实例。CASIA-WebFace数据库中的图像质量差异较大，且存在人物类别划分错误的情况。
图1.4 CASIA-WebFace数据库的部分实例
3.素描人脸数据库预处理
素描人脸数据库预处理简单来说是为了去除外界因素干扰，使比对结果更准确。预处理是人脸识别过程中的一个重要环节。输入图像由于图像采集环境的不同，如光照明暗程度及设备性能的优劣等，往往存在有噪声、对比度不够等缺点。另外，距离远近、焦距大小等又使得人脸在整幅图像中间的大小和位置不确定。为了保证人脸图像中人脸大小、位置及人脸图像质量的一致性，必须对图像进行预处理。
传统的人脸识别的数据库预处理由人脸检测、人脸对齐、特征提取及距离计算等部分组成。素描人脸识别与普通人脸识别流程相近，同样需要进行人脸检测、对齐等预处理过程。
目前，大多数素描人脸的检测方法采用传统的人脸检测方法。基于HAAR特征的检测方法可以在素描人脸数据库上取得良好的检测结果。在素描人脸对齐处理的方法中，Tang[41]和Klare等人[47]采用基于眼睛对齐的方式，通过检测光学人脸照片和素描人脸图像人脸的眼睛中心，进行仿射变换，并将人脸缩放至同样的大小。Sondur等人[48]采用ASM关键点定位的方式实现人脸对齐，该方法可以检测出人脸的68个关键点，如图1.5（a）所示。
素描画像与照片存在五官位置不一致和部位形变的差异，基于关键点检测的方法在光学人脸照片上提取的关键点比较准确，而在素描人脸图像上定位的关键点存在较大的偏差。图1.5（a）是基于ASM方法检测照片和素描的结果。由图 1.5（a）可知，三角剖分后显示的照片中人脸的关键点定位较为准确，同时素描人脸中的大部分关键点也被准确定位，然而在嘴部关键点的定位出现了较为明显的偏差。其中观看素描已是最接近真实人脸的素描画像，因此可以得出，定位的关键点越多反而不利于素描和照片的人脸对齐。
图1.5 特征点检测示意图
采用基于 MTCNN[49]的方法对光学人脸照片和素描人脸图像进行关键点定位和对齐操作相比传统方法有更好的表现。传统的面部检测和对齐方法都是相对独立的，人脸部结构和关键点之间固有的相关性没有得到重视。而 MTCNN框架采用一种级联的结构，通过设计三个深度卷积网络，实现了由粗到细人脸检测和关键点定位，如图1.5（b）所示，定位的关键点在人的双眼中心、鼻尖和两边的嘴角。该方法在AFLW数据库上取得了当时最好的成绩。