前言

随着计算机视觉和机器学习的快速发展，人脸识别应用取得了巨大的成功。

人脸识别技术因具有直观、便捷、非接触等优良特性，相对于其他身份识别技术，得到了更广泛的应用。几十年来，人脸识别技术一直都是最受关注的研究热点之一。尤其是随着深度学习技术的发展、计算机运算速度的提高和大数据集的公开，人脸识别技术得到了极大的发展，该技术现已被成功地应用在日常生活中的多个场景，给人们的生活带来了极大的便利。然而，在刑侦领域存在更为复杂的识别场景，例如，受设备性能限制或拍摄条件影响，摄像设备得到的犯罪嫌疑人的照片质量较差；甚至当警方无法获得犯罪嫌疑人的照片时，仅能根据目击者的描述绘制犯罪嫌疑人的面部素描。

本书以人脸识别的一些基本理论与方法为基础，重点讨论了素描人脸识别、素描人脸合成、人脸着色、图像超分辨率重建。全书共 7 章，其中，第 1～4章由曹林撰写，第5章由郭亚男撰写，第6章、第7章由杜康宁撰写，全书由曹林统稿。各章节主要内容如下。

第1章概述了素描人脸识别、素描人脸合成、人脸着色及人脸图像超分辨率重建技术的研究与应用。

第2章概述了传统素描人脸识别算法的相关原理，并分别介绍了基于Surf匹配坐标邻域优化和基于张量排序保留判别分析的人脸特征提取方法。

第3章介绍了深度学习在素描人脸识别的应用，提出了基于联合分布适配的素描人脸识别，通过深度迁移学习方法从深度学习网络中提取光学人脸特征并使用迁移学习方法将其与素描人脸适配；提出了基于残差网络和度量学习的素描人脸识别，通过大规模的光学人脸数据库训练 ResNet-50 网络得到预训练模型，基于迁移学习的思想，固定识别率较好的模型参数，同时采用素描人脸数据库微调识别率低的模型参数，最后结合度量学习的方法最大化类间差距；提出了基于SE-ResNeXt模型的素描人脸识别，在SE-ResNeXt模型的基础上，将Softmax损失和中心损失相结合，共同监督模型的训练。

第4章介绍了结合LBP局部特征提取的素描人脸合成方法，该算法的研究核心是通过层层优选得到最优块进行合成；介绍了结合pHash稀疏编码的素描人脸画像合成方法，根据图像信息熵将图像分成大小不同的子块，对尺寸不同的子块采取不同的特征提取方法，然后根据图像块的特征选取初始候选图像块，随后采用二次稀疏编码的方法合成最终的素描图像块，最后将全部素描图像块合成整幅素描人脸图像。

第5章对生成对抗网络相关原理和模型进行了概述，并提出了基于生成对抗网络的素描人脸合成算法，该算法将U-Net 网络作为生成器，将二分类器作为判别器，构成一个生成式对抗网络。通过训练照片-素描图像数据库训练出可以将照片生成对应素描图像的生成器，以及可以判别图像是“真”素描图像还是经过生成的“假”素描图像的鉴别器；提出了基于双层对抗网络的素描人脸合成方法；利用深度神经网络来设计生成模型与判别模型，二者以对抗的方式进行训练，并在生成模型中加入了跳跃连接，提升了网络合成图像的效果；提出了基于特征学习生成对抗网络的高质量素描人脸合成方法，将对抗学习模型和特征学习模型相结合，增强了合成图像面部细节的能力；提出了基于多判别器循环生成对抗网络的素描人脸合成方法，多判别网络对生成网络的反馈传递优化，完善生成图像中高频特征细节，并且使用最小二乘损失描述生成对抗损失，结合重构误差损失和对偶联合损失，生成高质量图像。

第6章提出了联合一致循环生成对抗网络的人像着色方法，该方法采用联合的一致性损失，联合重构的数据计算其与输入彩色图像的损失，实现整个网络的反向传递优化。

第7章提出了双层级联神经网络的人脸超分辨率重建方法，通过向结构约束网络中加入面部先验信息估计模块，捕捉输入图像的面部关键点信息，约束重建图像与目标图像的空间一致性；提出了基于引导图像的级联人脸超分辨率重建方法，该方法由姿态变形模块与超分辨率重建网络组成，以低分辨率图像和高清人脸引导图像作为共同输入，生成分辨率更高的清晰人脸图像。

本书的出版得到了国家自然科学基金（项目编号：61671069、U20A20163、62001033）、北京市教委科研计划（项目编号：KZ202111232049、KM202011232021、KM202111232014）和北京信息科技大学勤信人才项目（QXTCP A201902）等科研项目的资助，在此一并表示感谢。

由于时间仓促，书中难免存在不足，欢迎读者对本书批评指正。

笔者

2021年1月