1.1.2 素描人脸识别国内外研究现状

随着国家对社会安全的重视不断提高，以及人们对社会安定的需求不断扩大，异质人脸识别[19]成为刑侦领域的重点研究任务之一，旨在完成由不同传感器获得的人脸图像之间的匹配。近红外人脸图像、素描人脸图像等都属于异质人脸，比传统的人脸识别具有更大的难度。其中，素描人脸识别[20]在刑事侦查领域具有重要的研究意义，已有很多的研究人员对其展开了相应的研究。目前国内外对素描人脸识别技术的研究大多借鉴人脸识别的相关方法，大致可以分为基于图像转换的方法、基于映射的方法及基于特征的方法。

基于转换的方法是指将光学人脸照片和素描人脸图像转换成相同的模态。Tang和Wang提出了基于KL（Kullback-Leibler divergence，散度）的转换算法[21]，将光学人脸照片转换为素描人脸图像，然后将转换后的伪素描人脸图像与原始素描人脸图像进行相似度的计算。Liu、Tang 等人提出了基于LLE （Locally Linear Embedding，局部线性插入）的方法[22]挖掘光学人脸照片和素描人脸图像之间的内在相关性，利用这种相关性将光学人脸照片转化为素描人脸图像。该方法的主要贡献是提出了非线性内核，将原始数据映射到高维空间再计算人脸特征。Tang 和 Wang 进一步提出了改进的马尔可夫随机场（Markov Random Field，MRF）模型[23]，能够在不同尺度上合成人脸的局部结构，减少照片和素描的差异。Zhang等人[24]提出了一种新的双向素描-照片合成框架，该方法由域间转移过程和域内转移过程组成，在域间转移中，学习训练光学人脸照片的回归量并将其转移到素描人脸图像域中，以确保在合成期间能够恢复正常的面部结构。Wang 等人[25]提出了一种简单有效的邻域选择算法，通过在训练中添加素描相邻的块来提高转换的性能，且不会增加计算复杂度。Zhang 等人[26]采用多层卷积网络进行素描人脸图像合成，其中目标损失函数由生成损失和对抗损失组成，取得了目前最好的转换效果。

基于映射的方法旨在建立一个公共子空间，能够将光学人脸照片和素描人脸图像映射至该空间内，使二者能够有效地对比。Zhang 等人[27]为了提取素描人脸图像的局部结构特征，采用耦合信息编码的方法来缩小光学人脸照片和素描人脸图像的差异，取得了不错的识别结果。Sharma等人[28]使用偏最小二乘的方法，扩大特征之间的协方差，进一步提高了素描人脸识别的准确率。Liu等人[29]提出了一种基于联合字典学习的方法，直接提取光学人脸照片和素描人脸图像的特征，避免了先前的基于联合字典学习方法中图像合成的过程，直接计算特征的余弦距离，然后使用最近邻分类器进行分类，取得了与基于耦合字典学习方法相近的识别结果。

基于特征的方法旨在提取具有高度判别性的特征。Bhatt等人[30]使用扩展的统一圆形局部二值描述子来表达光学人脸照片和素描人脸图像。其中光学人脸照片和素描人脸图像分别被分解到多个不同精度的金字塔中，然后分别提取二者的高频信息，利用遗传算法来计算不同层级的权重，最后使用KNN（K-Nearest Neighbor，K最近邻）进行匹配。Khan等人[31]提出一种自相似（Self-Similarities Descriptor，SSD）描述符。该方法首先将图像分块，然后计算每个图像块与相邻块的相关系数，然后将计算得到的系数作为图像的特征，实验结果证明了这种 SSD 算法对提取光学人脸照片和素描人脸图像的结构特征具有一定的鲁棒性。Galoogahi 等人提出了基于LRBP（Local Radon Binary Pattern，局部Radon二值模式）[32]特征的方法，该方法首先将人脸图像变换到Radon空间，然后在该空间中提取图像的 LBP（Local Binary Pattern，局部二值模式）特征，计算LBP 的直方图作为 LRBP 特征描述符进行识别。Galoogahi 等人[33]提出了结合平均方向梯度直方图（HAOG）特征和Gabor特征，同时描述图像的形状特征和局部梯度特征。Klare等人[34]利用SIFT算法提取光学人脸照片和素描人脸图像的特征，并采用了特征映射的方法[35]，在共同的特征子空间中计算特征间的相似性，实现光学人脸照片和素描人脸图像之间的匹配。目前这些人工设计的特征被广泛应用在素描人脸识别领域。为获取更具判别性的特征，Saxena等人[36]和Reale等人[37]都采用了卷积神经网络的方法进行研究，在CASIA NIR-VIS红外人脸数据库和e-PRIP 素描人脸数据库上也都取得了较好的结果。