5.2 关于多模态交互

目前，有一个非常时髦的名词叫“多模态交互”，其实，多模态交互就是在交互的过程中，在感知阶段采用了多资源（常见的有听觉和视觉），在执行阶段会考虑采用不同的方式（语言或者是手动）。这就出现了新问题：如何设计这种多模态交互？什么信息适合用什么模态？什么操作适合用什么方式？

如果我们把人的大脑比喻成一台大功率的计算机，那么它在做信息处理的过程中，把不同的信息用不同的代码进行了处理。有两种代码，一种是模拟的/空间的代码（Analog/Spatial Processing Code）；另一种是类别的/符号的代码（categorical/symbolic processing code）。模拟的代码最典型的是经典的圆盘手表或者传统的圆盘速度显示仪，符号的代码最典型的就是语言和文字。这两种代码的区别很重要，空间信息（比如空间位置、开关车窗、控制转向盘等）的执行最好的模式是手动操作，比如用手来指出空间的位置、用手去按相关的按钮开启车窗、用手来控制转向盘等；如果是符号信息，比如一封文字邮件，还是用语音把它读出来更容易。如果我们在同一个时间内要做不同的事情，采用不同模态比采用单一模态效率要高。比如，开车时对人的视觉要求会较高，驾驶员的视觉应该主要关注在道路上，但如果这个时候出现一封邮件需要他阅读，驾驶和阅读都需要他的视觉注意力，为了保证驾驶安全，他就不得不放慢阅读速度，因为这两个任务都在占用他的视觉资源。但如果这封邮件是用语音的方式读给他听，那么就不会对他开车造成太多影响。

图5-2展示了多资源模型。外部世界的信息可以分为空间信息和符号（语言）信息。人类主要通过自己的视觉和听觉以两种模态来获取外部世界的信息。在信息处理的过程中，从感知到工作记忆，再到响应执行。在这里，外部信息由两种代码（Spatial&Verbal）进入信息处理系统。在执行时，空间信息是手动执行的，而符号信息就靠语音来执行了。这是最好的信息处理模式。

图5-2 多资源模型