贝叶斯的博弈:数学、思维与人工智能
上QQ阅读APP看书,第一时间看更新

渐进学习

在实践中,人们并不会回忆一生中收集到的所有数据来确定某个理论的置信度——更何况,我们有限的记忆不足以做到这一点,我们之后会再探讨这个问题。我们更倾向于以渐进的形式来学习。当然,贝叶斯公式也恰好能让我们整合收集到的新数据( ),以此细化置信度。这个过程对应着所谓的“贝叶斯推断”。这种推断方式,或者说更新置信度的方式的基础就是以下这个贝叶斯公式的部分展开:

为了简明起见,这里将理论记作 ,替代理论记作 ,旧数据记作 ,而新数据记作 。特别有趣的是获得新数据 的方式与旧数据 完全独立的情况,在这种情况下 7,我们会得到下面的贝叶斯推断公式:

7从技术上来说,甚至在所有理论 之中,新数据 都应与旧数据 独立。

这个公式与我们之前看到的贝叶斯公式几乎一致,除了这里的先验概率是利用在收集新数据 之前得到的旧数据 计算出来的。换句话说,在实践中获得新数据的那一刹那,实用贝叶斯主义者就会将理论 的基本先验概率 换成当前的置信度 ,而替代理论的基本先验概率 也会被换成当前的置信度 。实用贝叶斯主义者在贝叶斯公式中用到的正是这些当前的置信度。在之后的章节中,我们会看到这个原则不仅处于达尔文式演化的核心,同样也处于科学共识与实时机器学习可靠性的核心。

这些计算也说明,对于纯粹贝叶斯主义者来说,用理性的方式研究历史是完全可行的。对于某些人来说,历史、物种演化与宇宙学这些学科并非科学,因为它们不能通过可重复的实验来研究。有趣的是,这种思考不过是来自波普尔哲学以及频率主义统计学的单纯假象。

对于纯粹贝叶斯主义者而言,在尝试回溯宇宙历史的这些学科与那些研究不随时间而改变的法则的其他学科之间,并没有绝对的界限。在这两种情况下,人们要做的都是收集相关数据,然后进行贝叶斯推断来确定对于不同理论的合适的置信度。

特别要提出的是,对于纯粹贝叶斯主义者来说,将“科学”与“伪科学”分开的,不能说是这些学科中假设的可证伪性 8,而应该是相信这些假设的人应用贝叶斯公式的准确性。科研人员对贝叶斯公式的应用要准确得多,而且我们之后会看到,科学共同体对贝叶斯公式的应用要比其中任何个体都更准确!

8尽管如此,我们在第 7 章也会看到,所有优秀的理论都应该有预测能力,但只有在两种可能性时,理论的预测结果如果是对半开,那我们也应该承认理论在这个问题上的无知。