可解释机器学习:黑盒模型可解释性理解指南
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

1.1.2 信任倒下

她赶到壁山地铁站。按照她的想法,新的神经架构的测试工作现在应该已经完成了。她领导了重新设计政府的“个体纳税情况预测系统”,该系统可以预测一个人是否会向税务部门隐瞒资金。她的团队提出了一个优雅的想法,如果成功的话,该系统不仅可以为税务局提供服务,还可以供其他系统使用,例如反恐警报系统和商业登记处。未来,政府甚至可以将这些预测纳入公民信任评分。公民信任评分计算一个人的可信度,这个计算会影响人们日常生活的各个方面,例如贷款或者要等多久才能拿到新护照。当她走下自动扶梯时,她想象着她的团队系统与公民信任评分系统的整合会是怎样的。

她的思绪完全被这件事占据了,但是设想与现实的不一致在她的大脑中敲响了警钟。

太晚了……

先是鼻子撞到地铁入口,然后整个人跌坐在地上。门本应该打开,但是却没有。她傻眼了,站起来看着门旁的屏幕。“请再试一次。”屏幕上友好的笑脸建议道。此时有一个人路过,并把他的手按在读取系统上。门开了,他穿过了。然后门又关上了……她擦了擦鼻子。鼻子很痛,但至少没有出血。她试图打开门,但是又被拒绝了。真奇怪,也许她的公共交通账户没有足够的代币。她看看智能手表检查账户余额。

“登录被拒绝。请联系您的公民咨询局!”她的手表发来了一条通知。

一种恶心的感觉就像拳头一样打在她的肚子上。她怀疑发生了什么事。为了证实她的想法,她启动了移动游戏“狙击手协会”,是一个第一人称射击游戏。该应用程序直接自动关闭了,这证实了她的想法。她现在感到头晕目眩,再次坐在地上。

仅有一种可能的解释:她的公民信任分数下降了。通常来说,小幅度的下降意味着有一些小的不便,例如无法乘坐航班头等舱或者需要等待更长的时间才能获得官方文件。较低的信任度很罕见,这意味着你被视为对社会有威胁。对付这些人的一个措施是让他们远离地铁等公共场所。政府限制信任分数低的公民的金融交易,而且还主动监视这些公民在社交媒体上的行为,甚至限制了某些活动,例如暴力游戏。你的公民信任分数越低,就越难增加公民信任分。得分很低的人通常不会恢复到原来的分数。

她想不到任何原因,为什么她的分数会下降。这个分数是基于机器学习方法计算得出的。公民信任评分系统就像一台运转良好的发动机,服务于社会。信任评分系统的性能始终受到密切监控。自21 世纪初以来,机器学习已经变得越来越好。它的效率如此之高,以至于人们完全信任该系统做出的决定,这是绝对可靠的系统。

她绝望地笑了。绝对可靠的系统……只要,系统很少出故障,但现在失败了。她一定是其中的特例之一--系统错误--从现在开始她就成了被抛弃的人。没有人敢质疑这套系统,它过于与政府、社会本身融为一体,这是不容置疑的。

对算法的信任是社会秩序的基础。人们为了共同利益,默认接受了罕见的虚假信任评分。成百上千的其他预测系统和数据库也加入了评分,使得人们无法知道是什么原因导致了评分的下降。她感到自己的下方好像有一个大大的黑洞,她惊恐地看着那片虚空。

她的纳税情况系统最终被纳入公民信任评分系统,但她从此一无所知。