2016年3月23日，微软怀着激动的心情，发布了名为Tay的全新聊天机器人。Tay和最初那个名为伊丽莎的聊天机器人一样，并未事先人工预置好全部内容，而是在与用户互动中不断学习，逐渐发展。之前微软曾发布过一款名为“小冰”⁽¹⁴⁾的中文聊天机器人，在中国取得了巨大成功。²由此，微软在Tay上也倾注了很高的期望。

一天时间不到，此项目就被匆匆叫停。³一群心怀不轨的用户，蓄意让Tay去学习那些有关种族歧视、性别歧视和反犹太主义的愤怒话语。无辜的Tay有样学样，发了不堪入目的推文。

互联网的其他地方也存在着各种大大小小的问题。亚马逊的语言助手Alexa会毫无征兆地突然嘿嘿笑一阵，让用户毛骨悚然。⁴iPhone的面部识别系统会将母亲和儿子搞混。⁵还有“一坨狗屎引发的血案”——当扫地机器人路过一坨狗屎，就会变身粉刷匠，蘸着这坨“颜料”在你家地板所有能经过和进出的地方画出一幅杰克逊·波洛克（Jackson Pollock）风格的线条抽象画。⁶

更严重的问题还有：仇恨言论检测系统被轻易愚弄；⁷招聘系统对偏见进行固化；⁸以AI工具驱动的网络浏览器和推荐引擎会落入别有用心的人手中，向大众推送荒诞不经的阴谋论文章。⁹交警使用的人脸识别系统给一位无辜的著名企业家发了一张乱穿马路的违章罚单，只因为系统看到了驶经此处的公交车上贴着她的大幅照片。¹⁰系统并没有意识到，公交车上贴着的比脸盆还大的一张脸，与这位企业家本人并不是一回事。在“召唤”模式下的一辆特斯拉，从车库往外倒车时发生了撞车事故。¹¹除草机器人不止一次将草丛中的刺猬弄伤甚至残杀。¹²我们现在拥有的AI根本不值得信任。虽然常常能将事情做对，但我们永远也不知道这些AI什么时候会出其不意地犯个荒谬甚至危险的错误，留我们独自在原地瞠目结舌。

我们将越多的权力交给AI，就越要提高警戒。有些小毛病无关痛痒，比如Alexa突然发出诡异的笑声，或者像本书作者那样，半夜突然被Alexa毫无缘由地叫醒。比如iPhone的自动修正功能，将“Happy Birthday，dear Theodore”（生日快乐，亲爱的西奥多）改成“Happy Birthday, dead Theodore”（生日快乐，死去的西奥多）。但其他一些问题，比如推送虚假新闻的算法，或针对招聘候选人的偏见，都可能酿成严重的后果。AI Now研究所的一份报告，将AI系统存在的许多问题详细列举出来，涉及医疗保险补助资格、坐牢期限判决、教师绩效测评等诸多领域。¹³华尔街的AI曾引发过股市的闪电暴跌。¹⁴AI还存在令人恐惧的隐私侵犯，在一个案例中，Alexa曾录制了一段对话，不经意地将这段对话发给了主人联系人列表中随机选定的某人。¹⁵AI还酿成了多起交通事故，甚至伤及人命。¹⁶电网若是发生一场由AI引发的大规模故障，我们一点儿都不会觉得奇怪。如果这样一场故障发生在酷暑时节或严冬时分，会夺去许多人的生命。

机器人有暴力倾向吗

并不是说我们应该时刻保持警醒，茶不思饭不想地准备迎接一个人类与机器人水火不容的科幻世界。至少在我们可预见的未来，这样的状况不会发生。机器人尚不具备行走于世界所需的智慧或灵巧性，只能在经过精心控制的环境中发挥作用。由于机器人的认知能力太窄太局限，因此我们对其进行控制的手段不胜枚举。

更重要的是，我们根本没有理由认为机器人会以科幻小说的风格发动针对人类的起义。在AI的60年发展过程中，我们根本没有从AI身上觉察到一丝一毫的恶意。对人类所关注的领地、财产、胜者为王的权力，或是人类历史上曾被争夺过的任何资源或利益，AI都表现得毫无半点兴趣。AI没有满腔的雄性激素，没有征服全世界的狂傲欲望。AI充其量不过是井底之蛙般的书呆子和白痴专家，只专注于其所在的一个小圈子，根本意识不到井外还有一个更大的世界。

以围棋为例。围棋的本质，就是争夺领地。会下围棋的AI，基本就是现如今征服世界能力最强的AI了。在20世纪70年代，计算机围棋程序水平很低，稍有水平的人类玩家就能轻而易举地将其打败。而当时的计算机，并没有表现出任何想要跟人类耍手段的迹象。而现在，围棋程序的技巧变得极其精湛，就连最优秀的人类玩家也不能望其项背。但计算机依然没有兴趣去征服人类领地，更没有兴趣将人类程序员关到动物园的笼子里。只要不是摆在棋盘上的东西，它们就不感兴趣。

关于“围棋棋盘之外是否还有其他有趣的事情”这样的问题，AlphaGo根本不在乎，更不会在乎“我这帮人类主人让我整天下围棋，其他什么都不让我做，这样公平吗”之类的问题。在棋盘之外，AlphaGo没有生命，也没有好奇心。它甚至都不知道围棋是用石子作为棋子来下的，也不知道棋盘之外还有其他事物的存在。它不知道自己是台需要插电的计算机，也不知道对手是需要吃饭的人类。它不记得自己在过去下过很多盘围棋，也预见不到自己在未来将会下更多盘围棋。赢得一盘棋，它不会欣慰，输掉一盘棋，它没有失落。在下围棋上取得了惊人的进展，它也不会骄傲。真实世界中，人们奋勇前行的那股动力在机器身上根本不存在。若是实在想要为算法描绘出一点人性化的意味（此处没什么道理可讲），你可以说，AlphaGo非常满足于自己现在所做的事情，对其他事情完全没有任何欲望。

针对医疗诊断、广告推荐、导航或任何其他领域的AI，我们都可以借用上面这段逻辑。至少在目前的应用场景中，机器只会去做程序中指定的工作，除此之外别无其他。只要我们能保持这样的状态，就用不着杞人忧天地担心科幻小说中想象出来的情景。

正如史蒂芬·平克（Steven Pinker）⁽¹⁵⁾所写：

 

“拥有超级智慧的机器人令人类沦为奴隶”的想法，就如同“因为飞机比老鹰飞得更高更远，所以有朝一日飞机会从天而降抓走牛羊”的想法一样荒诞不经。此谬误将智慧与动机混为一谈。所谓动机，是带有欲望的信仰、带有目标的推断、带有希冀的思考。就算我们真的发明出超人类的智慧机器人，它们为什么会想要让主人沦为奴隶，继而征服世界？智慧，是利用新颖的方法达到目标的能力。但目标与智慧之间是没有直接联系的：聪明并不等同于有欲望。¹⁷

若要征服世界，机器人首先要有这样一个欲望，要有力争上游、野心勃勃、永不知足的性格，还要有暴力倾向。至今为止，我们所见的机器人都沾不上边。从现在看来，我们也没有理由去打造一款带有情绪状态的机器人，而且就算我们想为机器人赋予情绪，也不知道从何下手。人类可能会利用诸如欲求不满等情绪作为奋发努力的工具，但机器人不需要任何此类工具，也能准时准点地开工干活。机器人只会去做人们让它们做的事情。

我们毫不怀疑，有朝一日机器人一定会拥有足够强大的体力和智力，强大到完全能与人类抗衡。但至少在可以预见的未来，我们找不到任何机器人想要造反的理由。

机器也会犯错

但是，我们并不能高枕无忧，AI无须“想要”摧毁我们，也能酿成灾难。短期来看，我们更需要担心的，是机器是否真的有能力去“可靠”执行我们交托给它们的任务。

数字化助理若能可靠地帮我们制订日程安排，就会帮上大忙。但如果不小心让我们在一周之后才赶赴一场关键的会议，就是捅了大娄子。随着行业的发展，机器人管家是必然趋势，而这其中的利害关系则更为复杂。如果某个巨头设计出一款会做焦糖布丁的机器人，那么我们就要确保此机器人每一次执行任务都保证能成功，而不是前9次成功，第10次在厨房里酿成火灾。

截至目前，据我们所知，机器从来没有过帝国主义的野心抱负，但它们的确会犯错误。我们越是依赖于机器，它们犯下的错误就越是事关重大。

还有一个迄今为止尚未得到解决的问题，就是机器在面对人类的弦外之音甚至含混不清的表达时，必须能对人类意图进行准确推测。一方面，存在我们所称的“糊涂女佣”问题。¹⁸“糊涂女佣”是儿童绘本中描述的一位女佣，她只会听从主人指示字面上的意思。想象一下，如果你早上出门前跟清洁机器人说“将客厅的东西收到衣柜里”，结果回家一看，客厅里的每一样东西果然都被装进了衣柜里，而且为了能装进去，机器人还不遗余力地将电视、家具和地毯分拆成了小块。

在护理有认知障碍或语言障碍的老年人时，问题就更大了。如果爷爷一时口误，让机器人将晚餐倒进垃圾堆里，而不是摆在餐桌上，那么一位优秀的机器人，就应该有能力确定这究竟是爷爷的真实心愿，还是一句糊涂话。总之，我们希望机器人和AI能认真对待我们的指令，但不要一味听从字面指令。¹⁹

当下AI的9个风险

当然，所有的技术都会出错，就连人们最熟悉的古老技术也会出问题。就在我们着手撰写本书的前不久，迈阿密的一处人行天桥在刚刚安装好5天之后便突然坍塌，夺去了6个人的生命。²⁰而人们在桥梁建设方面已经积累了3000多年的经验，公元前1300年迈锡尼文明时期搭建的雅卡蒂克拱桥，如今依然没有倒塌。

我们并不指望AI从出生之日起便完美无瑕，在一些情况下，我们需要付出短期风险的代价，才能换来长期收益。如果在现如今的无人驾驶汽车开发阶段，有几个人不幸因车祸而去世，但最终能有成千上万的人因为无人驾驶汽车技术的发展而幸免于难，那么我们就值得去冒这个险。

尽管如此，在人工智能从根本上得到重构和改进之前，风险依然存在。这里有9个风险是我们最担心的。

第一个风险是第1章中讲过的基本超归因错误。AI总是让我们误认为它拥有与人类相仿的智慧，而事实上根本没有。正如麻省理工学院社会科学家雪莉·特克尔（Sherry Turkle）⁽¹⁶⁾所指出的那样，看起来满脸笑容的伴侣机器人，实际上并不是你的朋友。²¹在这种误解的蒙蔽下，我们会不假思索地将太多的权力交到AI手中，并假设在某个场景中所取得的成功能确保另一个场景中AI的可靠性。关于这一点，我们已经讲过一个最突出的案例，就是无人驾驶汽车。通常情况下的良好性能，并不能保证所有情况下的安全性。再讲另一个相关案例：²²不久前，堪萨斯的一位警察截住一辆车，并用谷歌翻译软件与不懂英文的司机交流，请他准许警察搜车。后来，法官发现，谷歌翻译的质量实在太差，司机根本就不知道警察想干什么，不能以此认定司机同意警察搜车。因此，法官判决警察违反了美国宪法第四修正案。在AI水平获得大幅提升之前，我们需要时刻保持警醒，不能将太多的信任交到AI手中。

第二个风险是鲁棒性的缺失。无人驾驶汽车需要有能力适应不常见的光线情况，不常见的天气情况，不常见的路面瓦砾，不常见的交通模式，人类做出的不常见动作和姿势，等等。同样，对于全权负责你日程安排的系统而言，鲁棒性也不可或缺。如果系统搞不清楚你从加州飞到波士顿需要多长时间，结果导致你出席会议的时间晚了3个小时，你就要吃不了兜着走了。显然，我们需要更好的人工智能方法。

第三个风险是，现代机器学习严重依赖于大量训练集的精准细节，如果将这样的系统应用于训练过的特定数据集之外的全新问题，就没法用了。在法律文件上经过训练的机器翻译系统，如果拿到医疗文献上去使用，效果就会非常差，反之亦然。²³只在本地成年人身上训练过的语音识别系统，听到其他口音就会出问题。²⁴Tay所使用的技术，若放在言论受到严格管控的社会中，还可以正常工作，但若拿到用户可以肆无忌惮地用污言秽语对系统进行愚弄的社会中，就会得出令人无法接受的结果。能以99%的准确率识别在白纸上打印出来的黑色数字的深度学习，一旦用来识别黑纸白字，就会瞬间失灵，只能识别出其中34%的数字。²⁵而且，夏威夷的停车标志还是蓝色的。²⁶斯坦福大学计算机科学家朱迪·霍夫曼（Judy Hoffman）发现，自动驾驶汽车的视觉系统如果是在某一座城市经过训练的，那么这辆车若开到另一座城市，其表现就会比在最初那座城市差很多，就连最基本的道路、交通标志和其他汽车都认不明白。²⁷

第四个风险是，当需要更微妙的方法时，盲目地过分依赖于数据，还会导致过时的社会偏见长期存在。过去几年，此类问题层出不穷。2013年，哈佛大学计算机科学家拉坦娅·斯威尼（Latanya Sweeney）发现，如果用谷歌搜索一个典型的黑人名字，比如“Jermaine”（杰梅因），就会一下子蹦出来许多关于逮捕记录信息查询的广告。而如果搜索一个白人常用名，比如“Geoffrey”（杰弗里），则不会看到这么多类似广告。²⁸ 2015年，谷歌相册将一些非洲裔美国人误认为大猩猩。²⁹ 2016年，有人发现，如果用谷歌搜索“得体的职场发型”图片，得到的结果几乎全是白人女性，而如果搜索“不得体的职场发型”，得到的结果几乎全是黑人女性。³⁰ 2018年，当时还在麻省理工学院媒体实验室念研究生的乔伊·布兰维尼（Joy Buolamwini）发现，大量商用算法总会认错非洲裔美国女性的性别。³¹IBM是第一家进行积极修正的公司，微软也很快采取了措施。^32-33但迄今为止，据我们所知，还没人找到针对此问题的通用解决方案。

即使到现在我们撰写本书之时，也能轻而易举地找到类似的例子。我们用Google图像搜索“母亲”，结果中绝大多数图片都是白人。从中我们可以看出从网络中收集数据的人为痕迹，也能感受到这样的结果对现实情况的明显误导。我们搜索“教授”，排名靠前的结果中，只有10%是女性。这个结果可能可以反映好莱坞对大学生活的描绘，但却与当下的现实并不吻合，因为大学里有近一半的教授是女性。³⁴亚马逊于2014年发布的以AI驱动的招聘系统，因为问题实在太多，最终于2018年被彻底停用。³⁵

我们并不认为这些问题是无法解决的。随后我们将讨论到，AI领域的范式转移能帮上大忙，但目前还没有通用的解决方案。

核心问题在于，目前的AI系统只会对输入数据进行模仿，而将社会价值和数据的本质及质量置之不顾。美国政府的统计数据显示，如今的大学教职员工中，只有41%是白人男性，但Google图像搜索却并不了解这一事实，只能将找到的所有图片放在一起，根本没有能力去思考数据的质量和代表性是否靠谱，其中隐含的价值观是否合理。教职员工的总体情况时刻处于变化中，但盲目的数据挖掘机却无法捕捉到这种变化，只能去强化历史，而无法反映出日新月异的现实情况。

当我们想到AI在医疗领域扮演的角色时，也会产生同样的担忧。举例来说，用来训练皮肤癌诊断项目的数据集，很可能侧重于白人患者，在用于有色人种的诊断时，就可能给出站不住脚的结论。³⁶自动驾驶汽车在识别深肤色行人时，其可靠性要比识别浅肤色行人低很多。³⁷这是人命关天的大事，而目前的系统却没有能力来修复这类偏见。

第五个风险是，当代AI对训练集的严重依赖，也会引发有害的回音室效应，系统最后是被自己之前产出的数据所训练的。举例来说，我们在第4章中将会讨论到，翻译程序是通过对“双语文本”进行学习来逐步发展出翻译能力的。双语文本就是彼此互为翻译的两种语言文本。可是，有些语言在网络上的很大一部分文本，实际上是机器翻译程序的作品，在某些情况下会占所有网络文件的50%。³⁸由此，如果谷歌翻译在翻译过程中犯了个错误，这一错误就会出现在网络文件之中，而此文件又成了翻译软件学习时所使用的数据，进一步强化之前犯下的错误。

同样，许多系统依赖于众包工人来给图片打标签，但有时众包工人会利用AI驱动的机器人来做事。虽然AI研究界已经专门为此开发了测试技术，来检查工作成果是由人类完成还是由机器人完成，但整个过程已经演变为猫捉老鼠的对决，一方是AI研究人员，另一方是作弊获利的众包机器人，道高一尺魔高一丈，双方的实力都在螺旋式上升。结果，许多所谓的高质量人工标记数据，实际上都是机器自动生成的。³⁹

第六个风险是，有些程序依赖于公众可任意操纵的数据。这些程序常常陷于被愚弄的境地。Tay是其中一个典型案例。谷歌也时常被“谷歌炸弹”袭击，人们会创建出大量帖子和链接，想办法让某个特定说法的搜索出现他们觉得特别搞笑的结果。2018年7月，人们成功让谷歌图片对“白痴”一词的搜索结果变成了特朗普的照片。⁴⁰当年晚些时候，当桑达尔·皮查伊在国会发表演讲时，这一搜索结果依然没有改变。16年前，针对里克·桑托勒姆（Rick Santorum）还有过更加有伤风化的愚弄。⁴¹而且，人们玩弄谷歌不光以搞笑为目的。有一整个“搜索引擎优化”产业，其存在就是为了操纵谷歌，在相关网络搜索中对特定客户给出高排名结果。

第七个风险是，之前已经存在的社会偏见再加上回音室效应，会进一步加剧社会偏见的程度。假设在历史上，某些城市的治安、刑事定罪和判决都对某个特定的少数族裔群体带有不公平的偏见。现在，该城市决定利用大数据程序为其治安和判决提供建议，而该程序是用历史数据来训练的，以逮捕记录和监禁时间来判断罪犯的危险程度。由此一来，程序会认为对社会构成危险的罪犯很大比例都来自少数族裔，并据此建议少数族裔比例较高的社区配备更多警力，而且少数族裔应该以更快的速度被逮捕，并判处更长时间的监禁。然后，该程序再去跑全新的数据，新数据会强化之前的判断，而程序也会带着更强的信心，给出同一类带有偏见的推荐。

正如《算法霸权》（Weapons of Math Destruction）作者凯西·奥尼尔（Cathy O'Neil）讲过的一样，就算编程过程中刻意避开种族或国籍等指标，还是会存在各种各样的“代理”，会被程序用来得出同样的结果。⁴²这些代理是与指标存在相关性的特征，包括居住社区、社交媒体联系网络、教育背景、工作经历、语言，甚至穿着偏好。而且，程序做出的决策是通过“算法”计算得出的，由此便天生自带客观性的光环，令政府官员、公司管理层和老百姓心甘情愿地买账。程序究竟是怎么算出这样一个结果的，没人知道。数据训练是保密的，程序是专有的，而决策过程是一个连程序设计者都无法解释的“黑箱”。于是，就算人们对其做出的决策再不满意，也无从下手，根本没办法去反驳和挑战。

从前，施乐公司曾想降低员工离职率，削减因此而产生的高额成本。于是，施乐用一个大数据程序去预测员工的在职时长。程序发现，一个具有极高预测性的变量是通勤距离。家住得远的员工会更快提出离职，这也在情理之中。但是，施乐的管理层意识到，如果不雇用家住得较远的员工，实际上就是对中低收入人群进行歧视，因为公司位于富人区。值得称道的是，施乐在招聘过程中删除了通勤距离这一指标。⁴³但如若没有人类深度参与程序的监控，这类偏见无疑会继续野蛮生长。

第八个风险是，太容易落入错误目标的陷阱。DeepMind研究员维多利亚·克拉克弗纳（Victoria Krakovna）收集到了几十桩这类案例。⁴⁴程序员鼓励踢足球的机器人以尽可能多的次数去触碰足球。⁴⁵于是，机器人便站在球旁边不停地快速抖动。此番景象和程序员的设想完全不是一码事。程序员想让机器人学会抓取某个特定物体，于是给它看抓取该物体的图片。看过之后，机器人决定将抓手放在自身镜头和物体之间，这样从镜头的角度看去，就好像已经抓住了物体一样。⁴⁶一个玩俄罗斯方块的程序崇尚无为，与其冒险输掉游戏，不如按下暂停，一直歇着。⁴⁷

目标不符的问题还有更隐晦的表现形式。在机器学习发展的早期，一家乳品公司聘请一家机器学习公司打造一套能预测奶牛发情期的系统。⁴⁸程序的指定目标，是尽可能准确地生成“发情期／非发情期”的预测。系统得出的结果准确率高达95%，令农场主非常欣慰。但随后当他们发现程序达到高准确率的“秘诀”后，就笑不出来了。奶牛在为期20天的周期中只有1天处于发情状态。基于这样的事实情况，程序对每一天都给出同样的预测“非发情期”，这就使得程序在20天中有19天都是正确的。这样的AI要它何用？除非我们把事情掰开揉碎一一列出，否则AI系统给出的解决方案并不一定符合我们的初衷。

第九个风险是，由于AI的潜在影响范围非常之广，即使在非常初级的状态下，也有可能被别有用心的人利用，对公众造成严重伤害。恶意跟踪者利用相对基础的AI技术，对受害人进行监控和操纵。⁴⁹垃圾邮件传播者多年来一直利用AI识别模糊的符号，绕开网站用来区分人类和机器的图片验证码。⁵⁰我们毫不怀疑，AI很快就会在自动化武器系统中寻得立足之地，但我们衷心希望这样的技术会像化学武器一样被废止。⁵¹正如纽约州立大学政治学家弗吉尼亚·尤班克斯（Virginia Eubanks）所言：“在强有力的人权保护缺席的情况下，当某种极其高效的技术被用来针对受歧视的边缘群体时，就拥有了无比巨大的暴行潜力。”⁵²

所有这些都不意味着人工智能无法做得更好，但只有像我们在本书中呼吁的那样，发生根本性的范式转变时才会如此。我们信心十足地认为，上述问题中有很多是可以解决的，但现有技术还没这个水平。现如今的AI被数据像奴隶一样驱赶，对程序员和系统设计师希望其遵从的道德价值观一无所知。但这并不意味着未来所有的AI也存在同样的问题。人类也会参考数据，但我们不会认为所有的父亲和女儿都是白人，不会认为要尽量多接触球的足球运动员就等同于站在足球边上不停抖动。如果人类能避免犯下这样的错误，机器也应该有这样的能力。

从原则上说，打造出一台能在雪天出行或遵从道德标准行事的实体设备，并非难于上青天的事情。但我们仅靠大数据，是达不到这样的目标的。

我们真正需要的是一条全新的思路，对我们的初衷——一个公平而安全的世界，给予更多、更细致的考量。现在我们看到的AI，是只能逐一解决窄问题的AI。面对需要去应对的核心问题，这些AI只能绕道走。在迫切需要大脑移植手术时，我们拿到的只是创可贴。

举几个关于创可贴的例子。乔伊·布兰维尼发现AI系统无法识别黑人女性的性别后，IBM就拿了一个带有更多黑人女性图片的全新数据集来对系统进行训练。⁵³谷歌解决大猩猩问题的方法则截然相反，将大猩猩的图片从数据集中全部去除了。⁵⁴这两个解决方案都不具有普遍性，这不过是让盲目的数据分析得出正确结果的小伎俩，其背后隐藏的真正问题则无人过问。

的确，通过给特斯拉安装更精密的传感器、增加打了更准确标签的实例集，我们也能解决特斯拉在高速公路上撞向救援车辆的问题。但是，谁又知道下一次若是有辆拖车停在高速公路旁边，特斯拉会做出什么判断？再换成建筑车辆呢？谷歌能耍个小聪明，解决“母亲”的图片都是白人的问题，但若将搜索改成“祖母”，同样的问题依然存在。

如果将思路局限于狭义AI，用越来越大的数据集去解决问题，整个行业就会陷入永无休止的“打地鼠”大战，用短期数据补丁来解决特定问题，而不去真正应对那些令此类问题层出不穷的本质缺陷。

我们需要的，是从一开始就足够聪明、能规避这类错误的系统。

如今，几乎所有人都将希望寄托在深度学习上。下一章将具体讨论，为什么我们对深度学习的指望也无异于水中捞月。