我们将去向何方？谁将主宰？
吉米告诉我：“我的车子差点让我发生车祸。”
“你的车子？怎么可能？”我问。
“在高速公路上长驱向前时，我使用自适应巡航系统（adaptive cruise control）。你知道，它能让汽车保持匀速前进。当前方有车时，车子会自动减速，以保持安全距离。就这样不久，路上汽车越来越多，所以我的车也减速慢了下来。后来，我快到达出口，就把车子转进右侧车道，准备离开高速公路。到那时，我已经使用自动巡航系统很久了，一直保持在低速下，连自己都忘了自动巡航系统还在开启中，可是车子没有忘记。我猜想它一定在自言自语：‘好棒啊，我前面终于没有车子了。’然后它开始加速，直至高速公路上的限速——尽管此时正行驶在出口匝道上，需要慢速行驶。幸亏我很警觉，及时踩了剎车，否则后果不堪设想。”
我们如何适应科技，正处于重要变化之际。直到现在，人都还在主宰机器。我们控制机器的开关，指示它做何操作，并引导它完成一系列的操作。当科技越来越强大和复杂，我们就越不能了解它如何作用，更难以预测它的行为结果。当电脑和微处理介入，我们经常会感到迷惘和困扰、烦恼和气愤。我们仍然自认为在主宰机器。而实际上，现在我们的机器正在逐步接管一切。它们看似颇具智慧和意志，其实不然。
机器善意地监控着我们的一举一动，当然，这是为了安全、方便或者精确。当一切都正常时，这些聪明的机器确实有帮助；增进安全，减低重复动作带来的无聊，使我们的生活更方便，而且比我们更精确地完成任务。当一部车子突然从前面硬挤进来时，我们的车子能自动平稳地换挡减速，的确是件很好的事。同样的，微波炉知道马铃薯已经熟了，也是件不错的事。可是，如果机器失败了呢？如果它做了不当的动作，或与我们争夺控制权，那会怎么样？吉米的车子注意到前面没车，因此在出口匝道上以高速公路的速度加速前进，结果如何？同样的机器在正常状况下很有用处，然而在突发状况下却会降低安全，减少舒适性和丧失准确性。对我们身处其境的人，它会导致危险和不适，带来挫折和气愤。
现今，当机器设备出现问题时，大都有提示和警报信号来表示自身的状态。当机器有了问题，经常需要操作者在没有预警的状况下参与控制，经常没有充分的时间做出适当反应。吉米幸亏能及时纠正汽车自动巡航系统的错误。如果他没有及时发现问题呢？也许就会因此造成车祸而受到责怪。而讽刺的是：现实中，当一部所谓的智能设备导致出现事故时，经常会被归咎于人为错误。
要让人和智能设备之间顺畅地互动，合理的方法是同时增强人与设备双方的协调与合作。可惜设计这些系统的人往往不了解这一点。设备是如何判断什么事情重要或不重要的？尤其当某情况下重要的事，而在另外一种情况下也许并不重要？
我曾经告诉数家汽车公司的工程师有关吉米和他的汽车的故事。他们通常有两种反应：首先，他们责怪开车的人，驾驶者在即将驶入出口之前为何不关闭定速巡航系统？我解释说他忘了。工程师们的另一个反应就是：他的驾驶技术不好。这种“责备-培训”（blame-and-train)的哲学常常让使责备者、保险公司、立法单位或社会人士自我感觉良好：人若犯错，加以惩处。可是这样并不能解决根本问题。不良的设计、不良的流程、不良的设施和不良的操作习惯通常才是真正的元凶，人只不过是这一连串复杂流程的最后一步。
尽管汽车制造商认为驾驶员应该记住车子自动控制系统的模式，从技术上来讲没错，但这不能作为不良设计的借口。我们应该设计利用科技，使其契合使用者的实际行为方式，而不是要规定他们应该怎么做。更何况车子自动控制系统的设计并不能帮助驾驶员记忆。事实上，反而促使他们容易遗忘。定速巡航系统几乎没给驾驶员提供任何有关系统现况的线索：车子最好能够提醒驾驶员正在使用哪些系统。
当我向设计汽车的工程师提起这点时，他们立即做出下一个反应：“是的，这是一个问题，不过，不必担心，我们会改正。你说得对，汽车的导航系统应该知道车子到了高速公路的出口匝道，然后应该自动断开巡航系统，或者至少切换到安全车速。”
这说明了一个基本的问题，机器并不聪明：智慧在设计者心中。设计者坐在自己的办公室内，试图想象汽车和驾驶员之间所有可能发生的事，然后思考解决问题的方法。可是，设计者怎么能决定对意外事件该如何反应？当我们遇到异常状况，可以应用有创意、有想象力的方法解决。由于我们所设计的机器的“智能”并非真正存在于机器中，而是存在于设计者的脑子里，当意外事件发生时，如果设计者不在场从旁进行帮助，机器通常就会出问题。
对于意外事件，我们有两点认识：首先，它们经常会发生；其次，它们发生的时刻，往往无法预期。
有一次，一家汽车公司的工程师给了我关于吉米故事的第三种反应。他不好意思地承认自己也碰到过被巡航系统误导的事情，但那是另外一种情况：变换车道。在繁忙的高速公路上，驾驶者若要变换车道，必须要等到自己想要进入的车道有足够的空档，然后快速插入并道。这意味着，并道时，距离前后的车距都很近。在这种情况下，自动巡航系统很可能由于判断与前车距离太近而剎车。
“这有什么问题吗？”我问。“哦，也许会惹恼对方，但对我自己应该安全。”
“不，”工程师说：“这样很危险，因为后面的驾驶者不知道你会突然并道后又踩剎车。如果他们没有高度警惕，就会追尾。再说即使没有撞上你，后面的驾驶者对你开车的方式也会很不悦。”
“或许，”该工程师笑着说：“也许车子应该装上特殊的剎车灯，每当驾驶者没有踩刹车而车子自动剎车时，此灯就会亮起来。这样可以告诉后面车子：‘嘿，不要怪我，是汽车自动剎车的。’”
这个工程师虽然在开玩笑，但他这席话却道出了人与机器之间的紧张关系。人们会因为各种理由采取行动，有些是正当的，有些就未必，有时会设想周密，有时则不计后果。机器则比较一致，根据人们早已编好的电脑程式和逻辑规则，对实际状况加以衡量。但是机器有个根本的限制：它们对外界的觉察和人不一样，它们欠缺比较高层的目标，而且它们无法理解必须与其互动的人的目标和动机。换句话说，机器与人有着本质上的不同：它们在某些方面比较强，特别是速度、动力和一致性，另外一些方面，像社交技巧、创意和想象力则比较弱。机器还欠缺同理心，即它们的行动对周遭的人会引起什么样的影响。这些机器与人的差异，尤其是社交技巧和同理心，正是问题的症结。更重要的是，这些差异也是冲突，是最根本的问题，不是简单快速地修改一下电脑程序逻辑，或补充一个感应装置就可以解决的。
如此，机器的行动与人的意愿就起了冲突。在很多情况下，这完全没有问题，譬如，只要洗衣机能把衣服洗得干干净净，我不在意它洗衣服的方式与我的方法大相径庭。一旦把衣服放进洗衣机并开机，它就自动开始工作，那是一个封闭的环境。一旦启动，机器就开始接手工作，只要我不横加干涉，一切都顺利运作。
然而，在需要人和机器共同合作的状况下会怎样呢？抑或洗衣机开始工作后，我却改变了心意？如果让它知道我想重新设定洗衣程序？一旦自动洗衣流程已经开始运作，新的设定何时生效呢？还是要等到下一个加水时段？这个例子说明人和机器的反应迥异。有时，机器的反应看似完全武断强硬，然而，机器如果能够思考和说话，我猜想它会向你解释自己的做法，认为人类才是捉摸不定、反复无常的。对使用者而言，这种持续的钩心斗角会让人感到沮丧。对观察者来说，会深觉困扰，因为搞不清楚谁在控制，或者为何呈现某种特异的行为。人或机器，谁对谁错真得并不重要，重要的是人与机器的不一致，会导致激愤、挫折，有时甚至造成损害或受伤。
人与机器之间行为的冲突是一个根本问题，因为不管机器的能力如何，它们都不能对周遭环境、对人的目标和动机以及对经常发生的异常状况有足够的了解。在一个完全可控的环境里，没有令人讨厌的人在旁边干扰，没有突发事件，且一切都能正确预测时，机器会运转良好。这就是自动化发挥长处的舞台。
但是，尽管其所处的环境完全受控而机器运转良好时，它们的表现也并非完全符合我们的期望。以“智能”微波炉为例，它知道该用多大火力、多长时间烹调食物。当它工作时，一切都很顺利：你只要把新鲜的鲑鱼放进去并设定它你要烹鱼。时间一到，烹调得正好，不管是水煮鱼还是清蒸鱼，它都用自己的程式做到最好。使用手册上面写道：“感应器能测出烹调期间增加的温湿度，而且微波炉会根据不同种类和数量的食材自动调整烹饪时间。”但是，请注意这说明并未提到微波炉和人类的烹饪方式是否一样。人会试试食物的硬度，看看颜色，或者再测量一下食物内部的温度。这些微波炉都做不到，所以它只能做自己能做到的——测量温湿度，它利用温湿度来推论烹饪的程度。对于鱼类和蔬菜，这个方法好像没问题，但对其他食品则并不尽然。进一步说，感应系统的技术并非完美无缺。如果时间到了，食物却仍未做熟，对于二次使用感应器，使用手册警告说：“对同一道菜[1]，不要连续用两次感应系统，否则可能烹煮过度，或者烧焦食物。”智能微波炉也有其限度。
这类装备能不能帮助居家用户？可以说有，也可以说没有。如果机器被认为是有“主见”的，它们一定会非常傲慢，不会告诉人家为什么它要这么做或它怎么做的，也不会说它们正在做什么，食物成熟到什么程度，洁净度如何，或者衣物烘干了没有。这些机器都靠传感器控制，当结果不如所料时，就不知道该怎么办。我知道很多人有足够理由不愿使用这类设备，感兴趣的人想知道“机器为什么这样做”？对这个问题，设备无法回答，使用手册也只字不提。
在世界各地的实验室中，科学家们正在研究如何将更多的智能设备引进我们的生活里。有些实验中的房子能感应到屋中居住者的所有动静，自动开关灯，调节室温，甚至还能挑选音乐。正在进行中的项目不胜枚举：冰箱可以防止让你吃进变质的食品，马桶泄露你排出的体液状况给医生。冰箱和马桶看似不配的搭档，但它们合作起来可以监控你的饮食习惯，一个试图控制吃进身体的食物，另外一个测量和评估排出体外的东西。我们有苛刻的体重计时刻监控我们的体重，根据需要使用健身器材。甚至茶壶用尖叫来提醒我们注意水开了。
当越来越多的聪明的设备进入日常生活，我们的生活会变得有好有坏。如果机器满足我们所愿，那还不错。但如果它们做不到，或导致本来很有效率、创意的使用者变成机器的仆人，随时在监控、修理和维护机器，那就不太理想。这当然是不应发生的事，可事实确定如此。现在还来得及改进吗？我们对此能做些什么？