|1.2 虚拟视点图像的失真特点|
虚拟视点图像与普通二维图像的区别有以下几点。
（1）图像获取方式不同
普通二维图像的获取方式主要包括两种：一种是使用相机等直接从自然场景中采样；另一种是使用计算机绘制生成。与普通二维图像不同的是，虚拟视点图像由参考视点深度图像经过像素变换得到的。从数据源的角度来看，虚拟视点图像来源于参考视点而不是真正地从虚拟视点采样或生成的。因此，虚拟视点图像的获取方式并不完全遵守光学成像原理。
（2）编码与传输方式不同
普通二维图像主要通过离散余弦变换（discrete cosine transform，DCT）量化编码来消除帧内与帧间的冗余信息，进而达到率失真优化的目的；与普通二维图像不同的是，在DIBR系统中，虚拟视点图像编码与传输的对象大多数情况下是参考视点深度图像，而不是虚拟视点图像。此外，深度图像编码过程中还需要额外考虑深度图，因为深度精度对虚拟视点图像视觉质量有重要影响。
（3）显示方式不同
普通二维图像是直接呈现在屏幕上的。虚拟视点图像在最终显示之前，往往还需要经过图像增强，以消除虚拟视点图像中的失真。换言之，用户观察到的最终图像是经历了从参考视点深度图像重建、三维图像变换以及图像增强等一系列处理后的结果。
由于虚拟视点图像具有上述特点，其视觉质量的影响因素相比普通二维图像而言更为复杂。考虑虚拟视点图像最终呈现给用户前经历了参考视点深度图像获取、深度图像编码、深度图像传输、虚拟视点合成以及虚拟视点图像显示5个环节，每个环节都有可能引入图像误差。因此，虚拟视点图像的质量损伤是一个多因素、高耦合的复杂降质（degradation）过程，如图1-4所示。
图1-4 虚拟视点图像的复杂降质过程
式中，vref表示参考视点，
、
、
与
分别表示原始无损伤的参考视点深度图像、编码后的参考视点深度图像、传输后的参考视点深度图像，以及重建后的参考视点深度图像。特别地，最终得到的虚拟视点vvir下的图像还要经过合成过程，也就是三维图像变换。
由于虚拟视点图像特有的生成过程，最终得到的图像的失真类型也与传统图像不同。
如图1-5所示，虚拟视点图像的特有失真类型包括空洞（holes）、裂缝（cracking）、鬼影（ghosting artifact）及拉伸（stretching）等。
图1-5 虚拟视点图像的特有失真类型
虚拟视点图像的失真往往分布在场景中物体的边缘，如图1-5（a）中男子身体的右侧，图1-5（c）中石狮子的左侧等。与传统图像失真类型，如白噪声、模糊相比，虚拟视点图像中的失真具有非一致性（non-uniform）、局部性（local-structural）的特点，难以使用参数化的降质方程表示。不失一般性，将由三维视点变换（不仅仅包含三维图像变换，也包括视图插值等）引起的，与场景三维几何结构有关的图像失真统称为几何失真（geometry distortion）。与之相比，将由图像有损编码以及有损传输引入的失真定义为量化失真（quantization distortion），如高斯白噪声（white Gaussian noise，WGN）、块效应（blocking artifact）、振铃效应（ringing artifact）等。与几何失真相比，量化失真往往齐次（homogeneous）地分布在整张图像中，且可以用参数化的降质方程表示。
虚拟视点图像既包含了三维图像变换引入的几何失真，又包含了由参考视点图像有损编码与传输引入的量化失真，主要失真类型如图1-6所示。
图1-6 虚拟视点图像的主要失真类型
虚拟视点图像中的失真类型复杂且多样化，并且几何失真与量化失真存在差异，导致为传统图像设计的图像质量度量指标在虚拟视点图像数据集上的质量预测性能往往较差。近年来，已有学者通过分析几何失真，提出了新的虚拟视点图像质量度量指标。然而，现有的虚拟视点图像质量度量方法一方面依赖手工设计的特征，对几何失真的质量度量性能提升仍有较大的改进空间；另一方面则忽视了量化失真与几何失真对图像质量的综合影响。具体来说，现有的关于虚拟视点图像质量度量的研究仍面临以下困难与挑战。
（1）虚拟视点图像中几何失真的特征表示方式
虚拟视点图像中的几何失真产生的主要原因是三维场景中几何结构的改变，使在参考视点下被遮挡的像素在虚拟视点下暴露出来，进而产生空洞等严重失真。由于三维场景中的几何结构本身难以参数化表示，故虚拟视点图像中的几何失真也难以像传统图像失真（如高斯模糊等）那样使用参数化的降质方程来表示。因此，如何设计合适的面向虚拟视点图像几何失真的特征表示方式，并用其建立主客观一致的虚拟视点图像质量度量指标，成为目前的研究难点。
（2）面向实际应用中时空域复合失真的虚拟视点质量度量
在实际DIBR系统中，除考虑虚拟视点中的几何失真之外，还要综合考虑由参考视点深度图像编码引入的量化失真。这种复合失真既具有局部非一致性，也具备全局齐次性的特点，并有可能拓展到时空域。对这种复杂的失真情况，如何设计合理的特征表示方式，并利用所设计的特征实现无参考虚拟视点视频质量度量，以满足实际应用的需要，也是目前的研究难点。
（3）基于视觉感知的DIBR系统的优化
近年来，图像质量度量已被广泛用于编码、图像增强等算法的优化中，初步实现了“用户中心”的图像系统。然而，将虚拟视点图像质量度量用于DIBR系统的优化研究工作仍存在不足。对参考视点深度图像传输来说，如何根据虚拟视点图像的质量度量结果来优化参考视点预测与深度图像的传输策略，从而在保证用户视觉感知的前提下尽可能地减少传输开销；对虚拟视点合成来说，如何在缺少三维场景几何信息，以及虚拟视点监督信息的前提下，使用虚拟视点图像质量度量来学习一个参数化的虚拟视点合成模型，优化虚拟视点的视觉质量，均给研究工作带来了挑战。