视听媒体虚拟现实内容创作研究
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

一、沉浸性(Immersion)

沉浸性又称浸入性,是反映用户体验感、参与感的特性。在传统的视听媒体体验过程中,无论是欣赏电影、电视、网络视频还是各种媒体影像,它们的视域都是有限的、有边界的,受众都是置身屏幕影像世界之外,处在一种“旁观”的状态,“由外向内”观看。虚拟现实技术彻底改变了传统的视听体验方式,通过头显等设备的帮助,它可以让用户感觉自己完全沉浸在虚拟仿真环境当中,产生一种身临其境的真实感。通过虚拟现实技术,用户由被动的观众变成了主动的观察者、体验者、参与者,自己置身于所观看和体验的场景之中,仿佛成为所看到的虚拟世界的有机组成部分,“由内向外”观看。因为虚拟世界的视听效果都非常逼真,所以,虚拟现实用户经常会觉得真假难辨。

沉浸感主要通过影响人们感觉器官对外部世界的感知这种方式来获得,具体包括视觉沉浸、听觉沉浸、触觉沉浸、嗅觉沉浸、味觉沉浸和其他感官沉浸等。在所有的感觉器官中,视觉和听觉对于人们获取信息最为重要,目前,虚拟现实头显、互动工具等也主要是通过影响视、听两大器官来控制人们的体验感。

(一)视觉沉浸

视觉通道给人的视觉系统提供图形、图像显示,人类获取客观世界的信息大约有3/4需要通过视觉获得,视觉沉浸对虚拟现实系统非常重要。通过虚拟现实头显设备,用户可以“置身其中”,仿佛处在头显设备提供的影像场景中间,自由地向四周观看。

要想获得理想的视觉沉浸感受,虚拟现实头显需要达到以下基本要求。

1.显示的像素应该足够小,并且要保证像素的连续感

单位面积像素越多,影像就越清晰。现在高清、超高清、4K、8K、16K甚至更高质量的影像摄制技术已经成熟,使得虚拟现实影像的质量也大幅度提高。目前,市场上主流的专业级虚拟现实头显设备(如HTC Vive)的分辨率为2K,它们往往需要连接高速主机获得支持,这些头显设备已经能够给用户带来比较好的视觉体验,而大多数消费级便携式虚拟现实头显设备的分辨率较低,影像和声音的质量较差,给用户带来的沉浸感也较差。

2.设备的刷新频率应该足够高,保证画面的连续

理论上讲,头显设备的刷新频率越高,影像就显得越连贯,用户看起来与正常看世界的视觉感受就越接近。在实际应用中,设备的刷新率要和分辨率综合考虑设定,虚拟现实头显设备一般需要较高的刷新率。如果影像出现卡顿,就会极大地破坏用户的沉浸感,让其马上“出戏”,意识到虚拟场景的虚假性。

3.提供具有双目视差的影像,以形成立体视觉

具有合理双目视差的影像,可以给用户带来更好的空间感、立体感,可以增强用户体验的真实感。当然,拍摄或制作生成这样的影像,与传统2D影像相比,其数据量会成几何倍数增加,对于数据的生产、存储、传输等需要更高的技术要求。

4.视场角要足够大,理想情况是显示影像充满整个视场

头显设备的视场角最好要大于人眼的正常视场角,这样其显示的影像才能充满人眼视场,随着用户视线转移、头部转动、身体转动,头显设备可以将视点周围上下360度范围内的影像依次适时显示出来,给用户带来良好的沉浸感。如果眼镜等头显设备视场角不够大,用户很容易就可以看到其边框,也就是影像的边界,那样的话,沉浸感会大打折扣。

5.可以与真实世界隔离,避免受到外界影响,以获得完全沉浸感

VR需要让用户完全沉浸在虚拟信息世界中,所以,必须要通过头显、耳机等设备将用户的主要感官和现实世界隔离开来,这样,用户才能更好地感受虚拟世界影像、声音等信息。

对于AR头显设备来说,能够让用户在看到现实世界影像的基础上,再在其中增加一些虚拟的信息,它不是让用户沉浸在纯虚拟世界里,而是沉浸在现实世界和虚拟信息组合而成的影像世界中。

(二)听觉沉浸

听觉器官是人们感知客观世界的另一个重要通道,虚拟现实技术要能够提供和视觉同步的声音效果,才能更好地使用户获得真实感、沉浸感。

由于用户在使用虚拟现实头显设备时,其观看行为具有一定的随机性,用户可以根据自己的个人兴趣,随时转头、转眼观看自己感兴趣的方向、感兴趣的物体,这就要求虚拟现实耳机设备也能够实时提供相应的声音信息,而且这种声音必须是全方位立体声的声音场效果,声音不仅要清晰、准确,还要具有方位感、距离感、空间感、层次感,这对虚拟现实录音及声音还原技术都要求很高。

此外,人们听取声音的行为,还与其心理因素相关,用户关注的主体对象不同,会对听到的声音场里的各种声音有所选择、过滤,人们会优先听到自己关注的主体对象的声音,其他的声音会在一定程度上成为被忽略的背景声。传统的录音技术,能够清晰完整地记录和还原现场的客观声音信息,但是,却很难提供与不同用户心理需求、随机观看行为实时结合的声音选择、过滤功能,这也是虚拟现实技术发展过程中,摆在录音专业人员面前的一道难题。

(三)触觉沉浸

触觉器官是人们感知客观世界的又一个重要通道,人类对于自己“看到”“听到”并感兴趣的事物,更进一步的心理需求就是“触到”。“看到”和“听到”基本属于“远观”,“触到”才是人们探索事物的真正开始,通过这种方式,人和客观事物才能真正发生实在的关系,客观事物也才能反作用于人类自身,给人带来更真切的感受。

人类主要通过皮肤触觉感知客观事物,其中手、脚、四肢、躯干、头部等的触觉最为重要。此外,人们还可以通过牙齿等器官接触事物,从而对其属性产生准确判断。人类通过触觉器官可以辨别客观事物的温度、湿度、硬度、重量,可以区分其材质,还可以感受疼痛感、压迫感、震动感等。

在人们体验虚拟现实世界时,不仅需要看到虚拟世界的事物,听到其声音,还需要与其相接触,这样,才和人们在现实世界中对事物的感知方式更加接近。

目前,世界范围内有多家公司在研发虚拟现实互动设备,比较主流的有互动手柄、互动手套、互动衣服等,通过这些互动设备,为用户提供与虚拟现实视听形象相匹配的触感,比如,虚拟现实头显设备中给人看到的是一杯热水,那么,用户尝试将其端起来,手上就真的会有重量和温度的感觉。

虚拟现实互动设备的研发是其系统工程中的重要环节,也是难度比较大的一个环节,与虚拟现实视听技术设备相比,现有的互动设备只能部分达到比较真实的触觉沉浸感,距离充分满足用户触觉体验的需要还有较大的差距。

(四)嗅觉沉浸

嗅觉器官主要是鼻子,在人类感知客观世界时具有重要作用。不同的客观事物具有自身独特的气味,用户在虚拟世界中面对虚拟物体时,期望获得与真实世界相同的嗅觉感觉,这就需要借助各种特殊的设备,能够在空气中释放分子合成气体,营造虚拟环境中主要的气味效果。世界上万事万物的气味都有明显或细微的不同,要想实时营造出多种多样的虚拟世界景物的气味,技术上非常困难。再加上,还必须考虑用户心理因素,嗅觉技术不能仅仅是将事物的气味客观还原,还要考虑用户心理的需求和好恶,这就更加增大了该项技术的难度。目前,嗅觉技术还基本处于实验阶段,未有实质性推广应用。

(五)味觉沉浸

味觉器官主要是舌头,可以品尝各种食物、饮品的味道。在用户体验虚拟世界时,遇到食物类、饮品类事物时,也希望能有真实的味觉感受。然而,在现阶段,虚拟世界毕竟是“虚拟的”,尽管其看起来、听起来很真实,却仍然不能真正完全替代现实世界的客观事物,因此,味觉沉浸技术还处于实验或概念阶段,是用户和研发者的一种理想状态,还未有实质性推广应用。

从虚拟现实技术的发展现状来看,距离实现全方位的沉浸感还有很大的差距,虚拟现实技术还处于初级发展阶段。

2019年10月,视频体验联盟(Video Experience Association,简称VEA)发布的《虚拟现实(VR)体验标准技术白皮书》,阶段性地建立起了VR体验评估模型。“VR体验评估模型从视听沉浸体验质量、观看体验质量和交互体验质量的角度,对分辨率、帧率、码率、FOV、MTP、自由度等20多个指标进行量化,采用分级映射的方式构建评估模型,是VR体验评估标准化进程的重要里程碑。”[1]从VEA发布的“影响用户VR体验的关键因素”表格中可以看到,现阶段影响用户沉浸感体验的主要还是视听效果,头显设备、内容品质、网络传输速率是决定视听效果的重要因素(如表1-2-1所示)。为了改善用户体验,VR/AR头显设备需要进一步小型化、轻便化,改进其佩戴舒适度、提高其屏幕分辨率、扩大视场角度;在内容方面,视频360度全景影像清晰度要达到8K以上,并且全部实现3D立体视觉效果,帧率提升到60帧/秒以上以缓解眩晕感。

表1-2-1 影响用户VR体验的关键因素