2.2.5 VR/AR/MR

1 虚拟现实（VR）

虚拟现实（Virtual Reality，VR）是在计算机仿真技术、计算机辅助设计与实时计算技术、传感技术、图形学、多媒体技术、网络技术、人工智能、心理学等学科的基础上发展起来的交叉学科，随着虚拟现实技术的逐渐成熟，它已在科学可视化、医学、CAD/CAM、教育娱乐等领域获得广泛的应用。使用虚拟现实技术，用户可以利用计算机生成一种特殊环境，通过使用各种特殊装置将自己“投射”到这个环境中，借助数据手套、三维鼠标、方位追踪器、操纵杆等设备对环境进行控制或操作，从而实现不同的目的。虚拟现实中的“虚拟”指的是运用多种软件技术和硬件资源搭建在计算机系统中的一个虚拟环境（Virtual Environment，VE），“现实”指的是通过多种传感器接口，使得用户“沉浸”到虚拟环境中，产生接近现实的视觉、听觉、触觉感受，并能够通过设备和动作与该环境进行“直接交互”。虚拟现实技术使用户能够在虚拟的环境中拥有真实的体验，用户不再拘泥于刻板而抽象的数字信息，而是使用人类最擅长并且习惯的视觉、听觉、触觉、动作、口令等参与到信息空间虚拟的环境中。

Burdea G在1993年的Electro 93国际会议上发表的“Virtual Reality System and Application”一文中提出虚拟现实技术的三个特征，即“3I”特征：沉浸性（Immersion）、交互性（Interaction）和想象性（Imagination）。

1）沉浸性：计算机生成的虚拟世界给使用者带来一种身临其境的感觉。虚拟环境中，设计者通过深度感知的立体视觉反馈、精细三维声音及触觉反馈等多种感知途径，观察和体验设计过程以及设计结果。一方面，虚拟环境中可视化的能力增强，借助于新的图形显示技术，设计者可以得到高质量、实时、深度感知的立体视觉反馈。另一方面，虚拟环境中的三维声音使得设计者能够更为准确地感受物体所在的方位。触觉反馈使得设计者在虚拟环境中抓取、移动物体时能直接感受到物体的反作用力。在多感知形式的综合作用之下，用户能够完全沉浸在虚拟环境中。

2）交互性：人们能够以很自然的方式与虚拟世界中的对象进行交互操作或者交流，着重强调使用手势、体势等身体动作（主要是通过头盔、数据手套、数据衣等来采集信号）和自然语言等自然方式的交流。计算机能根据使用者的肢体动作及语言信息，实时地调整系统呈现的图像和声音。设计者可以采用不同的交互手段完成同一个交互任务。例如，进行某个零件的定位操作时，设计者可以通过语音命令给出零件的定位坐标点，或者通过手势直接将零件拖到定位点来表达零件的定位信息。各种交互手段在信息输入方面有各自的优势，语音的优势在于不受空间限制，而手势的直接操作优势在于运动控制的直接性。

3）想象性：是指通过用户沉浸在“真实的”虚拟环境中，与虚拟环境进行各种交互，从定性和定量两方面综合集成的环境中得到充分认识。虚拟环境可以使用户沉浸其中并且获取新的知识，提高感性和理性认识，从而使用户深化概念和萌发新意。因而可以说，虚拟现实可以启发人的创造性思维。

2 增强现实（AR）

增强现实（Augmented Reality，AR）能有效地将虚拟场景和现实世界中的场景融合起来并对现实世界中的场景进行增强，进而将其通过显示器、投影仪、可穿戴头盔等工具呈现给用户，完成物理、虚拟世界的实时交互，有效提升用户的感知和信息交流能力。增强现实要求真实、虚拟环境实时交互、有机融合，并且能在现实世界中精准呈现虚拟物体，这与数字孪生技术中物理实体与镜像模型互联互通、虚实融合、以虚控实的特点高度契合，因而被广泛应用于数字孪生中。

增强现实之所以是增强现实，有三个重要因素：①现实世界与虚拟世界双方信息都可被利用；②上述信息可实时且交互利用；③虚拟信息以三维的形式对应现实世界。增强现实的三要素是1997年由Azuma提出的，作为增强现实的狭义定义已广为人知，如图2-9所示。

（1）虚实交融

现阶段的增强现实设备只能生成简单的三维虚拟信息或者厂商预制的三维虚拟信息。因此，大部分的三维虚拟信息是由计算机软件生成的，生成的三维虚拟信息不能直接被增强现实设备进行显示，必须经过预处理。计算机生成的虚拟信息通过传感技术、三维成像技术或者光学透视技术融合在真实场景中，为用户提供一个虚实融合的世界。

（2）具有实时的交互性

增强现实技术中的交互性主要是指用户能通过一系列的设备或者手势等对增强现实环境下的虚拟信息进行自然的交互操作。这包括两个方面的交互：一方面是当用户的位置发生变化时，增强现实系统需要实时地检测出用户的位置变化和视线的变化，从而将虚拟信息“放置”在正确的位置；另一方面是当用户利用输入输出设备、手势、语音等方式对增强现实系统发出命令时，增强现实系统能准确及时地捕捉到用户的控制信息，紧接着能够识别控制信息中包含的指令，从而对用户的控制指令做出及时的响应，调整虚拟信息的状态。

（3）虚拟信息进行三维注册

增强现实系统能够准确地计算出虚拟信息在真实环境中的位置坐标和状态信息，并将虚拟信息准确无误地显示在真实环境中，使虚拟信息和真实环境进行完美的融合，这一个过程称之为虚拟信息的三维注册。

一个完整的增强现实系统主要包括图像采集模块、虚拟场景模块、跟踪注册模块、虚实融合模块、显示模块、人机交互模块六部分，如图2-10所示。图像采集模块由相机获取现实世界的图像；虚拟场景模块利用计算机生成虚拟的信息；跟踪注册模块用于虚拟场景准确定位到现实场景；虚实融合模块将虚拟场景和现实场景高度融合；显示模块用于在特定设备中显示融合后的图像；人机交互模块满足人们在虚拟和现实世界自然交互的需求[78]。

由于增强现实应用系统在实现的过程中要涉及多方面的因素，因此增强现实技术所涉及的研究对象范围十分广泛，包括信号处理技术、计算机图形技术、图像处理技术、心理学、人机界面、分布式计算、计算机网络技术、移动计算技术、信息获取技术、信息可视化技术、显示技术和传感器技术等。增强现实系统虽然不需要为用户显示完整的场景，但是需要通过分析大量的定位数据和场景信息，从而保证由计算机生成的虚拟物体可以正确地定位在真实场景中。总结起来，增强现实系统的工作过程中一般都包含以下4个基本步骤：

1）获取真实场景信息。

2）对真实场景和相机位置信息进行分析。

3）生成虚拟景物。

4）合并视频或直接显示。

系统需要根据相机的位置信息和真实场景中的定位标记来计算虚拟物体坐标到相机视平面的仿射变换，然后按照仿射变换矩阵在视平面上相应位置绘制虚拟物体，直接通过光学透视式头盔显示器显示，或者与真实场景的视频合并后，一起显示在显示器上。

3 混合现实（MR）

混合现实（Mixed Reality，MR）是物理世界和数字世界的混合，开启了人、计算机和环境之间的自然且直观的3D交互。这种新的技术基于计算机视觉、图形处理、显示技术、输入系统和云计算等技术的进步。Paul Milgram和Fumio Kishino在其1994年发表的论文“A Taxonomy of Mixed Reality Visual Displays”中首次引入“混合现实”一词。该论文中探讨了“虚拟连续体”的概念以及视觉显示的分类法。从那以后，混合现实的应用包括以下各项，已经超越了显示内容[47]：

● 环境理解：空间映射和定位点。

● 人类理解：手动跟踪、目视跟踪和语音输入。

● 空间音效。

● 物理和虚拟空间中的位置和定位。

● 混合现实空间中的3D资产协作。

混合现实是增强现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。混合现实的主要特点在于空间扫描定位与实时运行的能力，它可以将虚拟对象合并在真实的空间中，并实现精准定位，从而实现一个虚实融合的可视化环境。

混合现实是由数字世界和物理世界融合而成，这两个世界共同定义了称为虚拟连续体频谱的两个极端。为了使这两个概念得到更加直观的描述以及更清楚地表明这两者之间的联系，图2-11绘制了混合现实频谱，左边定义为物理现实，右边定义为数字现实，在物理世界中叠加图形、视频流或全息影像的体验称为“增强现实”。遮挡视线以呈现全沉浸式数字体验称为“虚拟现实”。在增强现实和虚拟现实之间实现的体验形成了“混合现实”，通过它可以[47]：

● 在物理世界中放置一个数字对象（如全息影像），就如同它真实存在一样。

● 在物理世界中以个人的数字形式（虚拟形象）出现，以在不同的时间点与他人异步协作。

● 在虚拟现实中，物理边界（如墙壁和家具）以数字形式出现在体验中，帮助用户避开物理障碍物。

混合现实的实现需要在一个能与现实世界各事物相互交互的环境中。如果一切事物都是虚拟的，则属于虚拟现实范畴，如沉浸式虚拟现实设备；如果展现出来的虚拟信息只能简单叠加在现实事物上，则属于增强现实范畴，如基于手机设备的增强现实应用；混合现实的关键点就是与现实世界进行交互和信息的及时获取，在混合现实环境中，实时的物体会被“数字化”，实时形成数字空间的模型，这样和原有的数字空间的虚拟模型可以进行交互，并且可以在数字空间中被改变。在增强现实环境中，数字模型是“叠加”在实景上，模型和实景没有交互，模型不能修改实体景象。图2-12中，与增强现实场景相比，混合现实场景中的工具出现在机械手臂的后面，可以体现出实际场景（机器人）和模型的遮挡功能。图2-13给出的游戏场景中，敌人“破墙而入”，在自己家的墙面上造成一个墙洞（对物理对象的一个运算），攻击部队从这个墙洞进入并射击，增强现实游戏是不可能营造出这种场景的。

4 虚拟现实、增强现实与混合现实的关系

增强现实技术是由虚拟现实技术的发展而逐渐产生的，因此两者之间虽然存在着密不可分的关系，但也有着明显的差别。

首先，增强现实与虚拟现实在沉浸感的要求上有着明显的区别：虚拟现实系统强调在虚拟环境中用户的视觉、听觉、触觉等感官的完全沉浸，需要将用户的感官与现实世界隔断，从而沉浸在一个完全由计算机生成的虚拟空间之中。要实现这些目标通常都需要借助能够将用户的视觉与环境隔离的特殊显示设备，例如采用沉浸式头盔显示器（Immersive Head Mounted Display）。与之相反的是增强现实系统，它不需要隔离周围的现实环境，而是强调用户在现实世界中的存在性，并且努力维持其感官效果不改变。由于增强现实系统的目的是增强用户对真实环境的理解，需要将计算机产生的虚拟物体与真实环境融为一体，因此必须借助专门的显示设备将虚拟环境与真实环境融合，通常会采用的是透视式头盔显示器（See-Through Head Mounted Display）。

另一方面，增强现实与虚拟现实的配准（Registration，也称作定位、注册）精度和含义不同。在沉浸式虚拟现实系统中，配准是指呈现给用户的虚拟环境与用户的各种感官感觉匹配。这种配准误差是指视觉系统与其他感官系统以及本体感觉之间的冲突。心理学研究表明，各种感官的感觉中往往是视觉占了其他感觉的上风，因此用户会逐渐适应这种由视觉与本体感觉冲突所造成的不适应现象。而在增强现实系统中，配准主要是指计算机生成的虚拟物体与用户周围的真实环境匹配，并要求用户在真实环境运动的过程中依然能够维持正确的配准关系，较大的配准误差不仅会使用户无法从感官上确认虚拟物体在真实环境中的存在性和削弱虚拟物体与真实环境的一体性，甚至会改变用户对其周围环境的感觉，严重的配准误差甚至会导致用户完全错误的行为。

混合现实技术将虚拟现实的虚拟和增强现实的现实部分相结合，同时增加了空间交互功能，可将虚拟物体放置在现实世界内的任意位置产生虚实结合的新型数字场景，是一种融合了虚拟现实和增强现实的新型展现方式。混合现实技术与虚拟现实技术和增强现实技术相比，具有多种优点，不论是从性能上还是形态上都有升级创新，根据比对不同技术（虚拟现实、增强现实、混合现实）的相关设备，可以看出混合现实更具有实时性、灵活性、交互性的特点。将现实物理概念与虚拟数字化技术进行融合，更富有创新多元化特点。

5 虚拟现实/增强现实/混合现实与数字孪生

基于数字孪生的智能系统构建了物理实体的高拟实性虚拟模型，借助近年来逐渐普及的虚拟现实/增强现实/混合现实技术，人机交互手段从传统的鼠标、键盘、触摸屏、固定手持设备等向三维手势、语音、可穿戴眼镜或头盔等高性能硬件、手机/平板电脑等移动终端、全息投影等多方位呈现形式转化。基于数字孪生的智能系统提供了海量逼真的虚拟场景/模型/数据来源、高实时性和可靠的数据传输手段并定义了智能系统的新范式及新应用，虚拟现实/增强现实/混合现实技术及智能硬件则依靠三维注册技术、虚实融合显示技术与新兴的智能交互技术以全新、超现实、更高层次的可视化呈现形式。虚拟现实/增强现实/混合现实技术为用户提供包含视觉、听觉、触觉等多感官的体验，形成真实世界中无法亲身经历的沉浸式体验，便于用户及时、准确、全方位地获取目标系统的基本原理与构造、运转情况、变化趋势等多方位信息，帮助用户更好地进行系统决策，最终以一种启发式的方式以改进系统性能，激发创造灵感，将各类应用往更加智能化、个性化、快速化、灵活化的方向发展。相比虚拟现实/增强现实，混合现实是一个新兴的技术，相关产品也在逐渐成熟，例如，微软发布的Hololens眼镜，就是一款支持混合现实的移动设备。随着产品的普及，混合现实应用也会越来越广泛。