第一部分 用我们的双手思考
第1章 说话时如何用手？
如果你曾经注意过自己的手势，你可能会好奇自己为什么会做手势。做手势好像不带有任何目的，但这种直觉可能是错的。正如我在前文中所论证的，手势能够传递有价值的信息，会对倾听者有所帮助。而且如果手势能够帮你保持专注与思考，它也能帮你扮演好说话者的角色。理解我们做手势的原因可以帮助我们更有效地使用手势，无论是作为倾听者还是说话者。我们会在第三部分讨论这个问题。现在，我们将深入探究你直觉背后的科学，即“我们为什么要做手势”。但首先要明确一下“为什么”（why）是什么意思。
“为什么？”在英语中是很有趣的一类问题，其背后实际上蕴藏着两个问题：“为什么？”和“做什么？”。为了阐明这一点，我们来看一个和我们相去甚远的物种——美国短吻鳄的例子。每当夜幕降临，短吻鳄都会潜入密西西比河。这是因为短吻鳄是变温动物，而且夜晚的气温往往比水温还低，傍晚入水对短吻鳄有重要意义：在夜间保持体温，防止冻僵。请记住，短吻鳄和人类不一样：它们不能调节自身的体温，只能吸收环境的热量。有了这一前提，我们可能以为短吻鳄傍晚入水的原因或多或少也应该和它们的体温调节系统有关。但事实并非如此。实际上，傍晚入水的根本原因与光敏感性有关：逐渐消逝的暮色是提醒短吻鳄入水的信号。在光线和温度可以人为分别调节的实验室中，我们发现，如果温度下降但光线并未变暗，即使短吻鳄的体温随气温越来越低，它也依然会待在岸上，不会进入水中。相比之下，如果光线变暗但气温依旧温暖，短吻鳄反而会进入水中，虽然这个行为不能帮它保暖。傍晚下水的目的或者说“功能”，是调节温度。但它的原理或者说“生理机制”，是光敏感性。1
因此，当我们提出“人们为什么要做手势？”这一问题时，我们实际上是在问两个不同的问题。第一个问题是关于发生在手势之前的事件，以及这些事件是否引起了做手势的行为——引发手势的生理机制，即“什么令我们做手势”。第二个问题是关于手势之后的事件，以及手势是不是引发这些事件的关键——手势的功能，即“为了什么做手势”。我们先来探索触发手势的生理机制，之后再来探究手势的功能，以此认识到这可以是两个截然不同的过程。
手势的生理机制：什么令我们做手势？
所有手势都是身体行为，是划过空间的肢体动作，但许多手势也还原了可以用身体完成的动作。有个绝佳的例子。如果我问你如何系鞋带，你很可能会边说边用手演示，你的手势就是在模拟系鞋带的动作。
另一个例子来自我之前的学生苏珊·库克和她的博士后导师麦克·塔恩豪斯的研究，这项研究要求成人受试者以实物或电脑的方式解出河内塔谜题（Tower of Hanoi，简称TOH）。TOH是用三根柱子和一堆圆盘组成的逻辑益智游戏。游戏开始时，所有的圆盘都在一根柱子上，由上到下按照从小到大的顺序排列。游戏的目标是每次将一个圆盘移动到另一根柱子上，且不能出现大圆盘在小圆盘之上的情况。这个实验的实物版和电脑版的最大区别在于，实物版需要你把圆盘从一根柱子上提起来，然后才能套在另一根柱子上。而在电脑上做的话，你只需要拖动圆盘就可以把它们移来移去，无须提起圆盘。在游戏结束后，这些成年人讲述了他们的解谜过程，与使用电脑相比，使用实物对手势的影响更显著。在讲述自己的解谜过程时，实物组做出了包含画弧线的手势，而电脑组只做出水平拖动的手势。这些成年人都用手势还原了解谜动作的方方面面，而且并未口头描述这些动作。
有趣的是，之后另一批成年人观看了两组的实验录像，他们也被所看到的手势影响了。当让他们在电脑上完成这项任务时，尽管没必要这么做，看到弧线手势的人也会把圆盘从柱子上完全提起来，而看到水平拖动手势的人则会把圆盘在电脑上拖来拖去。第一组成年人将肢体动作的各个方面融入他们的手势中，而这些手势可以让肢体动作在对话中保持活跃。2
正如我们所见，手势在捕捉动作方面表现出色。我之前的学生、为了解手势在教育中的作用做出了持续性贡献的玛莎·阿里巴利，以及她的学生奥特·霍斯泰特尔（也是我的“徒孙女”）在上述观察的引导下提出了“手势模拟动作”（GSA）框架。当我们说出“扔”这个词时，会模拟扔的动作。我们不是非得这么做，但脑部活动显示“扔”确实出现在了我们的头脑中——做出“扔”的动作时会被激活的大脑区域，在说“扔”的同时也被激活了。我们在思考和说话时模拟动作的意识被称为“具身认知”。这个意识奠定了GSA的基础，而GSA假定模仿动作会引发手势。一旦达到激活脑部的某个阈值（这个阈值因人而异），扔的动作便会通过手势的模仿行为变得可视。3
所有这些都表明，行为是产生手势的生理机制的一部分。如果这一理论是正确的，说话者在形容自己所做的事情时应该会做出很多手势。他们也的确如此：相较于只是看过图形的人，动手绘制过的人在描述图形时会使用更多的手势。说话者在表达想法时，会用手势来模拟他们做过的动作。
另一个证明行为与手势的产生关系密切的证据，来自一个著名的视错觉实验。如果请你比较以下两根棍子的长度，你会笃定两端开口朝外的棍子（深色）比两端开口朝内的棍子（浅色）更长。但实际上，两根棍子一样长（正如它们去掉两端之后的样子）。
如果请你用拇指和食指表示棍子的长度，你很容易会受到上述视错觉的影响。在描述棍子颜色时，你的手指可能会比描述两端开口朝内的浅色棍子张得更开——因为你的眼睛已经被欺骗了，所以对棍子长度的估算误差也会反映在你的手上。但是，你的手并不总会受到视错觉的影响。在你准备握住棍子时，无论是握两端开口朝外还是开口朝内的棍子，你分开拇指和食指的宽度是相同的——当准备行动的时候，你的手就不会被欺骗了。4
如果你的手既没用于做评估，也没做出行动，仅仅只是在做手势进行描述，又会发生什么呢？第一步，让你用一个两端开口朝外的棍子做动作——把它捡起来，然后按照指定的路径在空间中移动它。接着，请你在口头描述所做动作的同时做手势。之后，请你对两端开口朝外变为两端开口朝内的同一根棍子重复这些动作并进行描述。那么问题来了，你的手势会像哪一种？是你做动作的手（未受视错觉影响，那么你对两根同样大小的棍子所做的手势没有区别），还是做评估的手（对视错觉敏感，那么你描述两端开口朝外的棍子时的手势会比描述两端开口朝内的棍子更宽）？
答案是手势更像做动作的手，而不是做评估的手。无论你是在描述两端开口朝外还是开口朝内的棍子，你分开拇指和食指的距离都是一样的。你做手势的手并不比你做动作的手更容易受到视错觉的影响，且比你做评估的手更不易被视错觉影响。尽管手势与语言紧密相连，但它的根源可能在于行动。5
另一个证据可以证明行为是手势生理机制的一部分，它来自我们大脑的反应。功能性磁共振成像（fMRI）可以反映出你在执行任务时大脑某一区域的供血量：供血量越大说明该区域在执行任务时越活跃。在课堂上解决数学等式问题（4+6+3=__+3）时，孩子们要么会单独通过话语说出来（“我想让等号左右两边相等”），要么一边说一边做手势（说的同时在等式左边做一个向右扇的手势，再在等式右边做向左扇的手势）。学习任务进行一周之后，请这些孩子在解数学题的同时接受fMRI，但这次不让他们做手势。两组大脑活跃图像呈现出差异：尽管仪器没有显示出任何手部活动，但对通过手势+话语学习的儿童来说，他们大脑中负责运动功能的区域比只通过语言学习的儿童活跃得多。这些被激活的大脑区域与儿童通过对物体施加动作来学习一项任务（比如学习字母并书写字母）后被激活的大脑区域非常相似。就像通过对物体施加动作学习，通过手势学习可以形成运动特征。这一现象至少部分解答了我们本章开篇提出的问题：什么令我们做手势？答案是，动作模拟似乎是手势产生机制的一部分。6
有一个问题。尽管所有手势都是由身体完成的，但并不是所有手势都是身体行为的反映。当你说到火箭发射升空时，你会用手在空中向上示意它的轨道，但你的手势展示的只是一个动作，而非身体动作。或者当你在空气中比画S形来表示狗的尾巴时，你的手势甚至都算不上是“动作”，更不用说“身体动作”。在这些情况下，身体无法做出一个可供模拟的动作。或许，手势模拟动作理论是对代表身体动作的手势的正确解释，但它不能轻易解释那些代表形状、抽象概念，甚至物体运动的手势。
还有一个证明手势并不能完全起到动作作用的例子。一个名叫IW的年轻人在19岁时饱受一种原因不明的病症折磨，这种病影响到了他的脊髓神经，令他丧失了触觉以及所有依赖体态和方位反馈（我们称之为“本体感受反馈”）的运动神经控制能力。经过时间推移和大量努力，IW学会了通过注视和指挥四肢的方式控制他的手臂和腿部动作。他重新夺回了对体态和动作的控制权，但只有在能看到四肢的情况下才能完成。他无法在黑暗中移动，不过有个有趣的例外，他可以在黑暗中做手势。换言之，尽管IW在看不到自己的手的情况下不能移动它，比如捡起一块积木，但可以在看不见手的情况下边说话边做手势。IW的病情影响了他对物品做动作，但并不影响他做手势，这也说明动作与手势背后的机制是不一样的。7
还有一个例子也可以说明这一点：一个没有手臂的女性却有做手势的意识。《脑中魅影》一书讲述了一个先天没有手臂的年轻女孩的故事，她本应对手势一无所知，但事实并非如此。米拉贝尔出生时双肩下只有两个肉锤，但她能够感受到从未拥有过的手臂，她所具有的便是所谓的“幻肢”。人们往往在经历截肢后才会有幻肢体验。但是，米拉贝尔“无肢可截”，所以医生对她的幻肢感表示怀疑。当被问起是怎么知道自己有幻肢时，她回答道：“嗯……因为我在和你说话时，它们在做手势。它们在我说起某个物体的时候会指向它，就和你的胳膊和手一样……医生，在我走路时幻肢不会像你们的正常胳膊一样晃荡，它们只会在身体两侧保持不动，就像这样。”她边说边站起来，让两个肉锤垂在身体两侧。“但只要我说话，”她继续说道，“我的幻肢就会做手势。现在我说话时，它们就在动。”可见，做手势并不仅仅是动动手臂。8
手势的功能：我们“为了什么”做手势？
除了令其产生生理机制之外，手势也可以独立发挥作用——换言之，做手势可能具备一种甚至多种与行为无关的功能。正如前文所述，一般人都能读懂你自发做出的手势，这意味着你的手势具备与倾听者交流信息的功能。9
手势甚至可以把你变成更高效的沟通者。这里举一个例子。2021年4月9日星期五，《纽约时报》报道了马丁·托宾医生为德雷克·肖万被指控杀害乔治·弗洛伊德一案出庭作证。亨内平县前首席公共辩护律师玛丽·莫里亚蒂对托宾的作证做了如下描述：“托宾是一位精通呼吸原理的胸内科医生……他凑近麦克风，领带略微歪斜，用手和肘部演示了人是如何呼吸的。”她接着说，“他以世界一流专家的形象示人，却用门外汉也能听懂的英语解释了一切。”我认为，托宾如此有效的作证的秘诀在于（除了他清醒的头脑之外）他说话时所做的手势。托宾有意无意地用手势对证词加以润色，但有无意识真的不重要——只要信息摆在那里，每个人都可加以利用。你的手势可以帮助别人理解你的观点。
你似乎是凭直觉了解自己的手势的。身处嘈杂的环境时，你会提高音量，并且清楚、分明地说清每一个词，尤其是在话语是唯一可选的沟通方式的情况下。可当你还有手势这一选项时，你就会把它运用到极致。你可以用各种方法细化手势，也可以在其中加入额外的信息；如果你想在一个嘈杂的房间里点薯片和萨尔萨辣酱，在做出“吃”的手势之前，你会先做一个用薯片蘸酱的动作，然后再把手指放到嘴边。你还可以通过在不同空间重复动作，或者用停顿分隔两个动作的方式细化你的手势，以此来强调动作。有趣的是，当你能用手时，你就不会再费劲儿地增加话语的信息量了，反而会把这项工作交给手势和夸张的口型。换言之，在嘈杂的面对面交流中，尽管你调整了话语和手势以适应听不清的环境，但包含手势在内的视觉途径似乎在确保倾听者能理解你的话方面赢得胜利。10
你的手势帮到了他人，那它们也能帮你吗？听起来有些古怪，但你明知倾听者看不到你，为什么还要在打电话时做手势呢？盲人之间说话时，明知对方看不到，为什么也会做手势呢？还有同声传译人员，你有没有注意过国际会议上坐在玻璃窗后的同声传译员？他们的声音会被传送给倾听者，但画面并不会传送。没有人会看到他们，但他们在双语互译时会不断地做手势。我们最合理的猜测是，手势对他们有用。
让我们来想想，你的手势可能对你有什么作用，而你对此浑然不觉。你会在说话的同时做手势——可能你的手势在帮你组织语言。你在想“螺丝刀”这个词时会发现手在做拧的动作。做这些动作会帮你找到想说的那个词吗？证据尚不确凿：某些人从证据推导出的答案是肯定的，另一些人的答案则是否定的。如果手势可以帮你说话，那么不使用手势就会妨碍说话，但尚且不能为这个假设找到能够令所有人信服的证据。即使做手势的确在说话中起作用，我们也没有理由相信做手势只有一种功能。做手势可以影响你的思想，而且方式颇多。11
手势助你专注。当有人做手势时，手势会吸引你的眼球，你便更容易打起精神、集中注意力。有一种可以追随佩戴者目光的视线追踪器，我们用它们来观察有手势和没手势的数学课上儿童的视线。当教师说：“我想让这一边（对等式左边做手势）等于那一边（对等式右边做手势）。”孩子们的视线追随着她的手势，因此看到了她话中提到的对应部分。不出所料，看到手势的孩子比没看到手势的孩子更容易理解教师的话。他人的手势确实可以帮助你看到该看的地方。
但我们的发现不止于此：如果只看两组中理解教师的话的孩子，我们发现看到手势的孩子比没看到手势的孩子在受到点拨后更容易进步。这有些出人意料，因为那些没有看到教师手势的孩子是靠自己理解所教的内容，理应比注意力集中于手势的孩子从语言中得到了更多的信息。相较于只理解教师的话却没有看到手势的孩子，似乎手势让孩子们收集到了更多信息。手势不仅能控制注意力，还能帮你从正在聆听的话语中获取更多的信息。12
上述都是由他人做出的手势，但你自己的手势也可以帮你保持专注。学龄前儿童尤其喜欢在数东西时指着它们，数数时做出指的动作（相较于儿童数数的同时观看一个布偶做出指的动作）可以帮助儿童将数字和他们正在数的东西联系起来。结果是，他们会比不做手势时数得更流利。13
自己做出手势确实可以使你更专注。但与不做手势相比，做手势还能帮你从眼前事物中获取更多的信息。
手势助你记忆。如果你边做手势边描述某件事，你会不会觉得比不做手势能更好地回忆起这件事？我们请几个成年人看一些视频，视频内容包括玩具、动物、做各种各样（有些甚至很奇怪）动作的人：一只滑向警察的鸡、一个抚摸狗的女人、一只飞进独轮推车的鸽子、一个弯腰以手触脚的慢跑者、一个自己晃荡着关上的篱笆。我们测试了这些成年人立即描述这些事件和三周后对其的记忆情况。被我们要求在描述时使用手势的成年人要比那些没被要求使用手势的成人能回忆起的事件更多，尤其是在几周后。如果人们自行做手势，结果是否会有所不同，为了验证这一点，我们又做了一遍实验，但这次实验对手势没有任何要求。我们依然得到了相同的结果：人们对他们自发做了手势的对象的记忆要好于没做手势的。无论是出于自发还是被要求，说话时做手势都会令编码于话语中的信息变得难以忘记。14
手势可以减少你在认知上付出的努力。我们一直在关注伴随需要被记住的事物而做出的手势——这些手势让事物更好记。但是，手势还可以通过减少你在完成任务时需要付出的认知努力，来间接地对记忆施加影响。我们通过实验展现了这一观点，实验内容为：要求成人受试者在解释数学题的解法时做手势，而在解释其他类似题目时不做手势。
这个实验共分为4步。受试者被要求（1）解一道数学题，（2）记住一个字母列表（比如XR QP BN），（3）解释他们的解题方法，（4）试着回忆字母。每个受试者都解出了24因数分解的题目，比如X2-5x+6=（ ）（ ）。请注意，这些受试者在解释解题过程时还要试着记住那些字母，也就是说他们同时在做两个任务，因此这两个任务使用的是同一份认知心力。我们用他们在解释时记住的字母的数量来衡量所付出的认知心力：记住得少意味着他们在努力解释，所以只能记住少量的字母；记住得多则意味着他们为解释付出的努力更少，因此能记住很多字母。当然，这个逻辑预设了认知心力的总量是一定的，我们称这一总量为“认知负荷”，且两项任务（解释题目与记字母）所消耗的认知心力会即时抵消。之前的工作为这两个假设提供了很好的证据。15
我们感兴趣的问题是：做手势让成年人记住字母的任务变容易了还是变困难了？换句话说，做手势是减少还是增加了认知负荷？做手势是一种伴随话语的行为，强行将手势与话语绑定可能会消耗认知心力，这也就意味着与不做手势相比，边做手势边解释的难度更大。而另一方面，手势和话语一起组成了一个信号系统。所以，如果两者同时进行，就可以消耗更少心力，也就是说，边做手势边解释会比不做手势更容易。那我们发现了什么呢？成人受试者边解释边做手势比不做手势记住了更多的字母。尽管说话时做手势是增加了一项行为，但结果表明你的认知负荷得到了减轻。16
儿童的情况又如何呢？我们将实验模板为儿童稍加调整，发现做手势也同样减轻了他们的认知负荷。但我们可以在儿童组多探究一个问题，我们将能解出和不能解出附加题的儿童进行对比——因为在成人组实验中，他们全都成功地解出了因式分解。我们可以探究儿童做出正确或错误的解释手势时发挥的作用是否一样，事实证明是一样的。无论解释正确与否，做手势都减轻了儿童的认知负荷。17
但你可能有所疑虑。我们告诉成人和儿童受试者不要做手势。“不要做手势”这一指令本身就可能造成认知负荷。所以，被告知不要做手势的情况下，成年人和儿童能回忆出的字母数量会因为强加的认知消耗而变少。我们可以排除这一可能性，因为哪怕有机会做手势，受试者也不一定会做。这就说明一个人可能做出三种类型的解释：（1）受试者选择做手势，（2）受试者选择不做手势，（3）受试者被要求不做手势。结果显示，在选择不做手势和被要求不做手势这两种情况下，成人组和儿童组记住的字母数量是一样多的——被要求做手势并没有增加他们的认知负荷。也就是说，无论是出于自愿还是由于受到指令，他们做手势都比不做手势能记住更多东西，这也证明手势的作用之一便是减轻你的认知负荷。
如果觉得口头表达难以完成，你可以在说话时用手势来自救。
做手势会外化你的想法。如果你在头脑中解数学题遇到了困难，你可能会找一张纸把问题写下来。把问题落在笔头可以减轻你的记忆载荷，还会带给你不同的视角。那么把你的想法放在手上，或许也有同样的效果。
我们用一个儿童道德推理的例子可以证明这种可能。这个案例是一个困境，有一对缺钱的兄弟想通过非法途径获利：一个欺诈了一个老人，另一个盗窃了一家商店。我们让孩子们决定欺诈和盗窃哪一个更可恶，并让他们在给出理由的同时做手势。他们都照做了，并且在说话的同时做手势。说话时，他们会把做手势的两只手放在不同的空间，每只手都代表一个不同的视角。单独空间位置里的手势描述的是单个视角（左图），多个空间位置中的手势则描绘的是多重视角（右图，每一只手都描绘了一个不同的观点）。
把手放置在不同的空间位置是一个首要标志，表明儿童可以从多个角度看待道德困境。多重视角也开始在儿童的话语中出现，不过仅在要求他们做手势时出现。接着，在接受道德推理方面的训练之后，被要求做手势的孩子在解释道德困境时给出了更多高阶的道德推理，不仅仅考虑一个角度。而被要求不做手势的孩子却做不到这一点。请注意，道德是一个抽象概念，与空间毫无关系。通过使用手势，孩子们把他们的想法“空间化”了（他们真的把想法在空间中表达了出来），这也在本例中帮助他们从多个角度看待道德困境。18
通过置于空间的方式，手势不仅将想法外化，还将它们嵌入一个空间架构内。视觉空间推理和协同认知领域的知名权威芭芭拉·特沃斯基在《行为改造大脑》一书中提出了这一观点。在她看来，空间思维是思想的基础，是地基并非上层建筑。手势及其他人类活动都发生在空间中，并且可以为我们的心理表征创造场域。手势所涉及的动作可以为发现同一问题的不同视角奠定基础。19
将想法布局在空间内，哪怕想法本身并不具备空间性，可以为应用依赖于空间的认知操作做铺垫。以轨迹记忆法为例，这是一种回忆物品列表的方法。它的工作原理如下：首先想象你把想要记住的东西放在房间的不同位置（比如沙发上、桌子上，以及落地灯旁，等等），然后你就可以在脑海中回溯标记过的位置，以此回想起每一件物品，以及物品在各个位置的画面（比如沙发上、桌子上，以及落地灯旁的物品，等等）。或许手势也可以派上类似的用场。在空间中用手势比画出不同的想法，你便可以把它们嵌入这片空间，并可以利用这片空间回想起它们。这个主意值得一试。20
做手势为思维带来了第二种感官模式。我们一直在讨论做手势可能起到的微小作用。而一个不那么微小的作用便是，手势为沟通带来了除话语之外的第二种感官模式，且这一模式具备影响思考和学习的潜能。《多媒体学习》的作者理查德·迈耶认为，两种不完全重合的感官模式同时呈现，可以增强学习效果。口头交流学习是一件有力武器，但口头和视觉的融合要比单一属性的学习资料更有可能增加深入持久的学习效果。比如，“活塞在主气缸内向前运动”这句话和活塞在汽车制动系统中如何运动的图表间建立有意义的联系，会比单独思考单词或图表让人理解得更全面。迈耶的著作聚焦于语言和图像语境下的学习，但其中一个小步骤便是把手势——而非图片——看作与语言一起呈现的视觉材料。21
手势和图片存在着显著差异。手势是动态的，并会随着时间结束；而图片是静态的。有些问题本身就适合动态展示，比如学习打绳结。众所周知，绳结图片不好理解，尤其是与伴有手势的语言描述相比。而另外一些问题则是用静态展示会效果更好，因为这能使其中各要素间的关系一目了然——比如，组装抽屉柜体之前先看看图纸是什么样。在组装抽屉的过程中，能拥有一个供你随时查看、告诉你各部件如何拼接的样板，要比一闪而过的手势有用得多。
但是，手势的确有一个图片所不具备的优点：无论是输出还是理解方面，手势都可以与话语融为一体。也就是说，你不必思考如何把两者结合起来。你说话时，手势便自动出现。你聆听时，说话者的手势也会融入接收的信息。与之相反的是，你总得下点儿功夫才能将一张图片有效地融入你的话语。事实上，手势似乎就是将语言和图片合二为一的最显而易见的方式——比如，描述图片的某一部分时用手指向它。目前，针对手势和图片在课程中的最佳利用方式的研究寥寥无几，但这似乎是未来一个颇有前途的研究方向。我可能会从观察教师的做法入手，因为他们是专业人士。
做手势为思维带来了第二种表现形式。手势是通过话语之外的感官模式表现出来的，但它还有另一个层面上的不同：手势可以连续地表达信息，它可以在空气中描绘场景。与之相反，话语则依赖于将分散的信息类目整合成更大的合成体——发音组成单词，单词组成句子。或许正是因为手势引入了一种图像化的格式，而不仅仅是带来了第二种感官模式，手势才拥有了在学习领域的能量。我们不能在说话者中探究这一可能性，因为他们在做手势时会使用两套感官系统：听-说语言感官和手-眼手势感官。但是，我们可以以手语者为研究对象来处理这个问题。
手语利用信息类目的方式和话语一样，而且手语者在打手语时也会做手势。两者的区别在于，他们的手势和手语属于同一种感官的产物：手动感官模式。所以，手语者在打手语和做手势时会使用两种表现形式，感官模式却只有一种，这两种表现形式分别是一种离散的手势形式和一种连续的手势形式，两者都由手部呈现。与之不同的是，说话者使用的是两种感官模式的两种表现形式，即由口说出的语言离散形式，以及由手做出的手势连续形式。这样的组合使我们能够将使用两种感官模式的情况与使用两种表现形式的情况进行比较。究竟是什么给予了手势其认知能力？是并列的两种表现形式（语言离散，手势连续），还是两种感官模式（手和口）？22
手语者的手势和说话者的手势具有相同的认知效果吗？为了解答这个问题，我们教给说英语的健听儿童一个数学概念，并把美式手语（America Sign Language，ASL）教给了聋哑儿童。如果是并列的两种表现形式在起作用，即语言和手语上离散、手势上连续，那么手语者应该和说话者的表现相当。但如果是并列的两种感官模式在起作用，那么手语者的表现应该会有所不同，因为他们只用了一种感官模式——手。
第一个问题是，这两组儿童会不会在这些问题上做手势。答案是肯定的，而且比率几乎相等。举个例子：3+6+8=3+___，一个会说话的孩子和一个聋哑儿童都错误地把4个数全加在一起，在空格处填了20。会说话的孩子解释道：“我把这道题里所有的数字都加在了一起。”说着用手依次指向这4个数字。而手语者则做出了“加法”的手语，再做出“所有”的手语；而她的手势则是，先用食指依次扫过右边的3和左边的8、6、3的下方，再依次指向左边的3、6、8和右边的3的下方。两个孩子用他们各自的语言（口语或手语）和手势传达出了相同的信息——把题中所有的数字加起来。
下一个问题是，这些儿童是否曾经做出过与他们的语言表达的信息不同的手势。答案是肯定的，而且比率再次大致相同。这里有一个例子：7+4+2=7+___，两组中所有填了13的孩子都是把等式左边的数字相加。他们用各自的语言告诉了我们解答的过程。会说话的孩子说：“我把7、4和2加在一起，填了13。”而手语者（如下图所示）在等式左边的7、4、2上做了“加法”手势，并在空格处做出“放”的手势。但两组儿童都在他们的手势中传达了不同的信息。会说话的孩子对等式右边的7做出了一个“拿走”手势。而手语者则用手掌把等式右边的7盖住，好像是要把它排除在外（这个动作是一个手势，并不是美式手语）。在两组实验中，手势都传达了无法从他们各自语言中找到的信息。换句话说，儿童的语言和他们的手势出现了某种“错位”。在之前的研究中，我们发现一个会说话的孩子在数学课之前面对这类问题时表现出的“错位”次数，预示了这个孩子将从数学课中受益的可能性。23
这里有一个至关重要的问题，这一条是否适用于手语者：手语者在课前手语与手势的错位的数量是否也预示着他们课后能解题成功？我们把孩子们按照课前的手势-手语错位数量，从0到6划分为7组。然后，我们观察他们能否在课后成功地解答这类题（只做错一道题也可视为成功）。如果课前的错位可以预示课后解题成功，那么完全没有手势-手语错位的儿童应该是表现最差的，而有6个错位的儿童应该表现得最好，其余儿童的表现居于两者之间。这和我们的研究结果完全一致。手语者和说话者的表现一样，这说明手势的认知能力来自并列的两种表现形式（语言离散，手势连续），而非并列的两种感官模式（手和口）。24
做手势使身体参与到认知中。手势的表现形式对思考和学习非常重要，但这些形式所属的感官模式或许同样重要。手势是由身体做出的行为。运动感知系统是我们与世界互动的介质，而通过在系统中建立感知、感觉、情绪，甚至我们理解语言的方式，我们的行为可以对思维造成影响。比如，你在看不到自己动作的情况下学习了新舞步，之后依然可以用眼睛认出这些动作，哪怕你从来没见过。你的行为会影响你认识世界的方式。25
与动作一样，手势也可以影响后续的思维。回想一下前文提到的河内塔谜题。那些圆盘不仅在大小上递增，在重量上也是递增的。最大的圆盘最重，必须用双手才能拿起来。最小的圆盘最轻，单手就可以拿起。在成人受试者解出谜题后，我们请他们形容解题过程，他们果然做了手势。在解释的过程中，有些人选择用单手手势描述移动最小的圆盘，有些人则选择用双手手势。
我们请这些人再次解题，只是我们在题中做了手脚：在受试者不知情的情况下，我们互换了圆盘的重量。现在，最大的圆盘是最轻的，最小的圆盘反而是最重的，必须用双手才能提起来；但圆盘的外观并没有变化。结果出人意料，在我们让圆盘互换重量而保持外观不变的情况下，受试者描述时的手势选择影响了他们的解题能力。在解出互换重量的谜题之前，受试者的单手手势让他们想当然地以为小圆盘的重量比较轻。当发现小圆盘实际很重时，他们的发挥便受到严重影响。圆盘的重量信息被植入了——且仅植入了——他们的手感，而这些信息会影响到他们的解题结果。26
如果手不是你的，手势又会是什么样呢？如果你戴着假肢，还会做手势吗？你是否把假肢当作身体的一部分，真的很重要吗？先天或后天失去一只手臂的人通常会佩戴假肢，事实证明他们说话时也会用这些假肢做手势。但他们做手势的频率和健全人有所不同。调查问卷结果显示，那些把假肢当作自己身体的一部分的人会更多地使用假肢做手势，而那些认为假肢不是身体一部分的人则不会频繁地做手势。这个发现的有趣之处在于两点。首先，人机交互从业者可以通过穿戴人用假肢做手势的次数来衡量其对新手臂的掌控程度，这也是人机交互领域的终极目标。由于从未被明确当作任务的一部分，做手势正好可以用来衡量具身性，而且具有公正性和可操作性。其次，只要你的手臂（无论是自然还是人造）是身体的一部分，你就会用它做手势。27
很显然，你的手势可以调动你的身体，那么看他人的手势会有同样的效果吗？当你看到别人对某个对象做出某种行为时，你的神经回路会和你亲自做出这一动作的神经回路有所重叠。我们把这种重叠的神经元称为“镜像神经元”。如果你的运动系统正在执行一个动作，而你正试图理解他人执行的相同动作，你用于理解该动作的运动资源就会减少，你的表现就会受到影响。28
我们运用相同的逻辑来理解观看他人做手势是否也有同样的效果。我们请成人受试者完成一项需要理解说话者手势信息的任务，同时移动他们的手臂和手，或者腿和脚（这样便可以占据不同的运动资源）。移动手臂和手会加大他们理解说话者手势的难度，然而移动腿和脚却不会。所以，移动手臂和手——而不是腿和脚——会阻碍你使用说话者手势所传达的信息。对他人手势的理解，至少是在部分程度上依赖于你自己的运动系统。29
做手势可以促进抽象概念的理解。手势和行为都会对认知产生影响，但两种影响不尽相同。针对物体的行为直接影响着世界。你拧开一个瓶盖，瓶盖就会掉落。但是，如果你在瓶盖周围（而不是瓶盖上）做手势，瓶盖则不会有位置的变化。当然，除非有人把你的手势当成要求他们拧开瓶盖的请求，并且他们也照做了。而这正是问题的关键。行为会直接导致瓶子被打开，而手势则会通过其交际和具象属性产生间接影响。这一区别或许意味着手势和行为有着不同的功能。
我之前的一位学生米里亚姆·诺瓦克主导了一个实验探索这一可能性，她采取的方式是教9岁或10岁的孩子用三种方法中的一种解数学等式问题。一个小组学习模拟分组法解题策略的动作。另外，两个小组学习的动作属于相同的解题策略，但分别使用具体的或抽象的手势。实验给出的题目是4+2+8=__+8，并用磁铁数字在黑板上显示出来。行为组的孩子们要拿起数字4和2，把这两个磁铁放在空格下方，以此模拟4+2并把总和填进空格。在具体手势组，孩子们要做出拿起4和2的手势，再做出把它们放到空格下的手势。在抽象手势组，孩子们要用食指和中指分别指向4和2，再用另一根手指指向空格。在上课前，我们要求所有的孩子在做这些动作的同时说：“我想让两边相等。”课上，我们要求孩子们在尝试解出每一道题前后都要说这句话并做出手部动作，而老师本人在课堂上则不做任何手部动作。
课后，所有孩子都进行了数学等式测试，而在这节课前他们从来没有做对过等式问题。在解答与教学样例形式相同的题目时——比如3+4+7=__+7——三个组都有所进步。这样看来，行为和手势都有助于学习。
但是，相同点仅此而已。行为组儿童不能举一反三地解答其他形式的数学等式问题，比如3+4+7=3+__。因为仅把等式左边的前两个数字加起来放进空格是无法解出答案的。你必须真正理解等式的意义——等号两边数量相等——才能解出答案。行为组儿童答不出这类问题，而具体和抽象手势组儿童却能够成功解答。
我们又对他们做了一个更泛化的测试：题目中没有相同的加数——比如3+4+7=__+5。行为组儿童又一次无法解出答案。而这一次，一部分具体手势组儿童也没能解出，但抽象手势组儿童则表现出色。手势似乎能很好地帮助学习者从问题的细节中提取抽象概念，并对如何解决问题进行更深刻的思考。30
现在你可能会说，我们让孩子们做出的行为并不典型：这些行为确实有对象，但是并没有解决问题。所以，我们又进行了一次实验。这一次由我之前的一位博士后学生伊丽莎白·维克菲尔德主导，她将使用行为法和手势法教3岁和4岁的儿童学习新的动词。我们告诉这些儿童“tiffing”的意思是捏住一个造型奇异的玩具的球状部件。行为组儿童在一个紫色玩具上做出了捏的动作（左图）。手势组儿童在同一个玩具的附近——并非在玩具上——做出捏的手势（右图）。所有儿童都在他们做出动作的同时说出“tiffing”这个词。
下课后，我们测试了孩子们对于新词的掌握程度。两组儿童都知道“tiffing”是指捏住被当作教具的紫色玩具。但当我们让他们将“tiffing”类推到另一个可以捏住的橘色玩具时，行为组儿童的表现就比手势组差了许多，尤其是当我们过了一周和四周后再次进行测试时，这种差距就更大了。通过手势教学学会的儿童可以举一反三，把这个词类推到“捏”的一般意义上。而行为法教出来的孩子似乎想当然地认为“tiffing”是指捏那个紫色玩具，而不是“捏”的一般意义。他们并没有错，只是循规蹈矩，在归纳超出学习情境的知识方面较为迟钝。31
行为和手势都可以帮助你学习。但是，手势可以帮你归纳超出特定学习情境的知识。行为和手势也都能使身体参与到认知中来，也同样有助于促进学习。但要想解释为什么手势比行为更有助于概括，我们需要超越身体。
做手势可以填补话语的缝隙。我们已经论证了语言是受规则支配的，并将信息打包，分门别类。你所说的某种语言已经有了既定的类目，这也让传达特定类型的信息变得简单。但这些类目可能会遗漏你想要表达的内容。比如，当你说“杯子在牛奶旁边”这句话时，你就在暗示杯子和牛奶并排摆放。但你并没有说明两者之间相距多远；它们可能离得很近，也可能离得很远。这时，你就可以用手势加以说明。这同样适用于“上方”这个方位词。你可以说：“麦片盒在糖的上方。”但是，这句话并没有告诉我麦片盒是在糖的正上方还是右上方，或者是左上方。当然，你可以多说几个词来说明，但手势也可以起到相同的作用，而且可能效果更好。
手势可以让你给画面填充一些想法，这些想法很难融入你的语言所提供的预先打包的单位，从而让一种不完美的语言对当下的说话者或倾听者更为有用。这种定制产生的原因可能是，手势可以轻松表达出语言需要很多个单词才能表达的想法，就像那些描述物品方位的例子，也可能是因为你当时不知道如何用话语表达想法。回想一下前文中学习化学的人的例子，他们当时还不能将“旋转”与立体异构体联系起来，却可以做出旋转的手势。还可能是因为你不方便在话语中表达出某个观点，就像那个信誓旦旦的朋友，他坚称男性和女性具备相同的领导能力，却把代表男性的手势放得比代表女性的高。手势可以暴露你所持有，但没有在话语中表达出来的观点。
手势可以展现画面中暗含的，却难以言表的信息。空间思维专家玛丽·赫嘉蒂和她的同事一起研究了手势在精神动画方面的作用。他们给成人受试者展示了机械系统的示意图，并让他们厘清系统每个部分的运动方式。受试者在回答90%的问题时都使用了手势，而且大部分以手势描绘的机械运动并没有在他们的话语中出现，也没有明确出现在示意图中。对于说话者来说，手势是一种自然的方式，让他们可以表达从一张机械系统的示意图获得的对该系统的推断。32
这一讨论把我们带回了手势与图片的对比。手势较于图片的优势在于可以将动态融入自己的形式。数学涉及移动和变换数字，但这些移动和变换并未明确表现在数学等式中。拉斐尔·努涅兹以他的数学与手势的研究著称，他让数学系研究生两两一组在黑板上证明数学定理。其中一些定理涉及动态数学的概念——比如递增函数、连续性和相交。另一些则涉及相对静态的概念——比如包含和近似。每一组学生基本上都完整地写出了证明过程，仅一名学生以外的所有人都做了手势。这些手势之后被编为动态组（有位移的手势）和静态组（没有位移的手势）。33
如我们所料，讲解动态概念（递增函数、连续性和相交）时的手势含有位移，而讲解静态概念（包含和近似）时的手势则没有。比如，一个用集合符号演算不等式的学生说：“所以，这一矛盾……嗯……递增。”当他的手向上抬的时候，食指伸出像是循着一条路。这名学生是在他写下一列方程后做出的这些手势。他的手势告诉我们，尽管他的叙述中没有动作，但他对递增函数的理解本质上是动态的。或者说，他将递增函数和序列定义为动态实体，而且我们也能从他的手势中察觉到这一点。完全用静态术语定义的微积分概念也被高等数学家定义为动态概念，而且可以从他们的手势中看到这种动态。值得注意的是，用动态手势描述静态模型的老师，其实是在用手势揭示数学概念的动态本质。如果学生可以努力捕捉到老师手势中的含义（我们知道他们可以），他们将获得这些只能从手势中找到的数学概念方面的重要指导。34
手势就是完美风暴
所以，你究竟为什么在说话时做手势？我们并不真的清楚答案，但我们有很多好的线索。行为是促使我们做手势的部分机能，但并非全部。而且手势拥有许多功能。无论你是否愿意，手势都会和倾听者交流信息。同样，无论你是否愿意，手势都会帮助（或伤害）你。我们尚不能确定手势是否会影响你说的话，但它的确会影响你的思维。做手势可以助你专注，并整合你的想法；做手势可以帮你记住你做过手势的信息；做手势帮你减轻认知负荷；做手势会外化你的想法并把它们嵌入空间架构，这也为依托于空间认知运作的应用做了铺垫；做手势为思维带来了第二种感官模式，而两种感官通常要强于一种；做手势为思维带来了第二种表现形式，这一形式也让传达意象信息变得相对容易；做手势使身体参与到认知中来，可以帮你学习许多任务；做手势促进对抽象概念的理解，并且更有效率地比照实物做相同的动作；做手势可以填补口语的缝隙（应该也可以填补手语的），并且尤其擅长将感知-运动信息引入表征和对话。没有一个单一的功能可以定义手势。
手势所能起到的每个功能都可以由其他设备替代。例如，荧光笔可以集中你的注意力，图片可以为思维带来第二种表现形式，表演让身体参与感知。但是，手势的独特之处在于它是能够同时起到这样的以及那样的作用。事实上，也正因如此，手势才可能成为一个强有力的教学工具。手势是一场完美风暴，因为它是一个独特的环境组合，可以彻底改变一个活动——在这里指学习活动。虽然“风暴”一词通常用于描述破坏性的现象，但我在这里用它来描述各种因素强大而自然的合力。在某些情况下，“少”可能就是“多”，但手势可以同时对你的认知产生这么多不同的影响，这一事实表明，在这种情况下“多”就是“多”——手势将所有这些因素结合在一起，带来了一场完美风暴。