理解，还是不理解，这是一个问题

温伯格对网络化知识的认识曾给我们打开新疆界（见《知识的边界》），而现在，他对人工智能时代的知识的见解，可以归纳如下：

*人类努力获得对复杂系统的理解。然而，我们基于“人类的理解”所做的预测并不像人工智能那样准确，虽然人工智能并不真正理解任何东西。

*不过，鉴于人工智能的预测比基于人类理解的预测更准确，我们应该放弃对理解的追求，而专注于建立能够为我们做决定的人工智能。

*将主导权交给预测性人工智能，我们将迎来人类进化的下一个阶段。

毋庸置疑，人工智能的未来关键在于，我们到底是应该放弃理解，还是致力于建立可以理解的人工智能？

这提出了匪夷所思的问题。随着技术的发展，我们可能很快跨越一些门槛，而越过这些门槛，使用人工智能就需要信仰的飞跃。当然，我们人类也并不总是能够真正解释我们的思维过程，但我们找到了直觉上信任和衡量人的方法。对于那些以不同于人类的方式思考和决策的机器来说，这是否也是可能的？

我们以前从未制造过以其创造者不理解的方式运行的机器。我们能指望与这些不可预测和不可捉摸的智能机器，达成多好的沟通和理解？这些问题将把我们带向人工智能算法研究的前沿。

人工智能并不一向如此。从一开始，对于人工智能的可理解性，或可解释性，就存在两派观点。许多人认为，建造根据规则和逻辑进行推理的机器是最有意义的，这样将使它们的内部运行对任何愿意检查某些代码的人来说都是透明的。其他人则认为，如果机器从生物学中获得灵感，并通过观察和体验来学习，那么智能将更容易出现。这意味着要把计算机编程转给机器。与其由程序员编写命令来解决一个问题，不如由程序根据实际数据和所需输出生成自己的算法。后来演变成今天最强大的人工智能系统的机器学习技术，遵循的正是后一种路径：机器基本上是自己编程的。

任何机器学习技术的工作原理本质上都比手工编码的系统更不透明，即使对计算机科学家来说也是如此。这并不是说，所有未来的人工智能技术都将同样不可知。但就其性质而言，深度学习是一个特别黑暗的黑盒子。

一旦面对黑盒子，人对系统就会产生信任问题。而温伯格恰恰没有深入处理人对人工智能的信任。比如，即便“深度患者”的诊断比人类医生更准确，它也无法解释自己给出的判断，既然如此，医生和患者还会对它表示信任吗？

人类的信任往往基于我们对其他人如何思考的理解，以及对这些思考的可靠性的经验了解。这有助于创造一种心理安全感。而AI对大多数人来说仍然是相当新颖和陌生的。它使用复杂的分析系统进行决策，以识别潜在的隐藏模式和来自大量数据的微弱信号。

即使可以在技术上解释，AI的决策过程对大多数人来说通常也是难以理解的。更何况目前的人工智能发展是在朝着不可理解的方向加速前进的。同自己不明白的事情互动会引起焦虑，并使我们感觉我们失去了控制。

芯片制造商英伟达推出的自动驾驶汽车，看上去与其他自动驾驶汽车没什么不同，但它实际上迥异于谷歌、特斯拉或通用汽车所展示的任何东西，而是显示了人工智能的崛起。英伟达的汽车并不遵循工程师或程序员提供的任何一条指令。相反，它完全依靠一种算法，这种算法通过观察人类的行为而学会了自己驾驶。

让一辆车以这种方式行驶是一项令人印象深刻的壮举。但它也有点儿令人不安，因为我们并不完全清楚汽车的决定是如何做出的。来自车辆传感器的信息直接进入一个巨大的人工神经元网络，该网络处理数据，然后提供操作方向盘、刹车和其他系统所需的命令。其结果似乎与你所期望的人类司机的反应一致。

但是，如果有一天它做出一些出乎意料的事情——比如撞上一棵树，或者在绿灯前停止不动呢？按照现在的情况，我们可能很难找出它这样做的原因。该系统如此复杂，甚至设计它的工程师也难以分离出任何单一行为的原因。而且，你也不能向它提问：没有办法来设计一个系统，使它总是能够解释为什么它做那些事。

除非我们找到方法，让深度学习等技术对其创造者更容易理解，对用户更负责任。否则，我们将很难预测何时可能出现失败——而失败是不可避免的。麻省理工学院研究机器学习应用的教授托米・贾科拉说：“这是一个已经凸显意义的问题，而且在未来它将变得更有意义。无论是投资决策、医疗决策，还是可能的军事决策，你都不希望仅仅依靠‘黑盒子’方法。”

所以，理解，还是不理解，绝非可以轻易得出结论，因为我们投入的赌注太太了。正如人类行为的许多方面也无法详细解释一样，也许人工智能也不可能解释它所做的一切。或许这就是智力性质的一个特点：它只有一部分被暴露在理性解释之下。而另外一些是本能的，或潜意识的，或不可捉摸的。

如果是这样，那么在某个阶段，我们可能不得不简单地相信人工智能的判断（这是温伯格所主张的），或者干脆不使用人工智能。相信或者不使用，这种判断将不得不纳入社会智能。正如社会建立在预期行为的契约之上，我们将需要设计和使用人工智能系统来尊重和适应我们的社会规范。如果我们要创造机器人坦克和其他杀人机器，那么重要的是，它们的决策必须与我们的道德判断相一致。

哲学家丹尼尔・丹尼特对可解释性持很审慎的态度。他说：“如果我们要使用这些机器并依赖它们，那么让我们尽可能坚定地掌握它们是如何和为什么给我们答案的。但是，由于可能没有完美的答案，我们应该对人工智能的解释持谨慎态度，就像人类对彼此的解释一样——无论机器看起来多么聪明。而如果它不能比我们更好地解释它在做什么，我们就不要相信它。”

我的看法是，要想达至人工智能诱人的前景，至少需要完成三件事情：第一，打开黑盒子，让AI能够解释自己所做的事情；第二，发现和减轻训练数据及算法中的偏见；第三，为人工智能系统赋予伦理价值。

机器学习的兴起是人类历史上最重大的变革之一，越来越多的机器学习模型将成为我们的知识库，就像现在的图书馆和人类的头脑一样。然而，机器学习模型里没有知识，这将意味着我们需要重新思考知识的性质和用途，甚至重新思考作为能够了解自己世界的生物，我们到底是谁。在这些方面，温伯格的思考给我们带来了更多探询的可能性，尽管远不是全部的答案。