1.4.2 人脸图像超分辨率重建质量评价标准
在图像超分辨率重建任务中,为了衡量超分辨率重建方法的性能与重建图像的质量水平,目前常用的评价方法分为主观质量评价与客观质量评价两大类。其中,主观质量评价依赖人们的视觉直观感受,客观质量评价则由重建图像与原始图像经过数学算法计算得出。
1.主观质量评价标准
主观质量评价是一种最直接的图像评价方式。这种方法通常从测试数据集中选取多对图像,将输入图像、重建图像与真实图像(Ground Truth,GT)及其他方法的重建图像并排比较。通过观察重建图像的准确性及与 GT 图像的相似度,给出综合评价。主观质量评价方法十分简单且易于操作,能够从人们对图片的直观感受出发评价图像质量。但是这项工作需要投入大量的人力与时间,成本较高,且评价结果容易受到评价环境与评价人员等外部因素影响。
2.客观质量评价标准
客观质量评价是由重建图像与原始图像根据数学模型计算得到的。图像超分辨率重建任务中常用的衡量重建图像与原始图像质量差异的指标有均方误差(Mean Square Error,MSE)、峰值信噪比(Peak Signal Noise Ratio,PSNR)[101]、结构相似度(Structural Similarity,SSIM)[102]等。在基于深度学习的超分辨率重建方法中,均方误差被用作网络训练时的损失函数,约束网络的学习过程。最终在评价网络性能时,通常采用峰值信噪比与结构相似度这两个指标。
1)均方误差
均方误差在像素层级对两张图像进行比较,它以直接的方式比较原始图像和待评价图像之间的差异。均方误差的值越小,待评价图像与原始图像之间的差异越小,当两张图像完全相同时,均方误差为 0。一般情况下灰度图为单通道,彩色图像为三通道,各通道的像素取值在(0,255)之间。以灰度图为例,假设原始图像x和待评价图像y的大小均为m×n,则均方误差的计算公式如下:
式中, xij为x在(i, j)位置上的像素值, yij为y在(i, j)位置上的像素值。
2)峰值信噪比
峰值信噪比PSNR表示图像中的最大信号量与噪声强度的比值,单位为dB。PSNR值越大,表示图像中信号量越大。假设原始图像x和待评价图像y的大小均为m× n, xij为x在(i, j)位置上的像素值, yij为y在(i, j)位置上的像素值, L表示图像x和图像y中的像素可以取到的最大值(一般情况下, L=255),则峰值信噪比可以表示为
3)结构相似度
为了充分利用人类视觉系统的特性,Wang等人[103]提出了基于结构失真的结构相似度图像质量评价方法。该方法从亮度、对比度和结构三个方面来评价图像的质量。如1.2.2节所述,原素描人脸图像s和合成的素描人脸图像f的结构相似度SSIM值可按式(1.12)求出。