前言

无论何时，只要人们谈及网络空间安全的形势，一定会有“形势严峻”、“应对能力不足”等悲观的说法，这往往会让决策者感到迷惑：网络空间安全领域为何总是缺少作为呢?到底该如何做才能让网络空间安全问题不再时刻困扰人们呢?其实这一切都是由于网络空间安全的动态属性所决定的。习近平总书记在2016年4月19日网络安全和信息化工作座谈会上指出：要树立正确的网络安全观，网络安全是动态的而不是静态的。也就是说，网络空间安全的形态是不断变化的，一个安全问题解决了，另一个安全问题又会冒出来。而在网络空间安全的动态属性中，新技术安全是导致网络空间安全具有动态特征的主要因素之一。这是因为新技术必然会带来新的安全问题，而各种新技术、新系统源源不断地出现，自然会引发各种新的安全问题与安全事件。如果我们有能力让各种新技术都停止出现，且五年内信息技术不更新，那么当前所有的信息安全问题可能将被全部解决掉，将会有一个十分安全的网络空间展现在人们的眼前。然而，社会不可能停滞不前，新技术也不可能从此销声匿迹，网络空间安全将伴随着新技术的出现持续动态地变化。

新技术必然会带来新的安全问题，这是新技术在安全方面的伴生效应。这种伴生效应会产生两方面的安全问题：一是由于新技术的出现，其自身的脆弱性会导致新技术系统出现不稳定或者不安全的情况，这方面的问题是新技术的内生安全问题；另一方面是新技术的自身缺陷可能并不影响新技术系统自身的运行，但这种缺陷却给其他领域带来了问题，导致其他领域变得不安全，这方面的问题是新技术的衍生安全问题。

除了伴生效应以外，新技术的出现一定会提升相关领域的势能，当新技术运用于安全领域的时候，自然也会赋能安全领域，这可称为新技术的赋能效应。当然，新技术在安全领域的赋能，既可以赋能于防御，也可能赋能于攻击，即新技术被恶意利用而导致其他领域不安全。显然，新技术赋能攻击是导致网络空间安全形势始终不够乐观的推手之一。

人工智能技术尽管产生于20世纪50年代，但其几起几落，形成了螺旋式的发展轨迹。人工智能技术在21世纪因其在应用领域中取得了突出的成就，从而被认定是信息领域中的一种推动社会发展的新技术。事实上，推动人工智能快速发展，使之在应用领域中切实发挥作用的那些具体技术的确是21世纪所出现的新技术，例如深度学习、软件框架等。因此，将人工智能技术看作是信息领域的新技术并不为过。人工智能技术被认定为新技术的另一原因表现在世界各国政府对人工智能技术的高度重视及其在人工智能技术领域所给予的巨额投资，展示出国际社会对人工智能技术造福人类所给予的极大期望。

但是，作为新技术，人工智能技术自然也会存在着安全问题的伴生效应与安全领域的赋能效应。从伴生效应的视角来看，人工智能存在着内生安全问题。例如，人工智能算法大量依赖统计结果，尤其是神经网络等智能学习系统，这种系统通过调整隐藏层内部的连接权值来记录系统通过统计学习后获得的特征信息。但这些权值意味着什么几乎是无法解释的，所以人们对之只能使用，无法预判。在这种情况下，系统对哪些权值进行了怎样的修改、修改后会导致系统的判断结果将怎样跳出人们的预期都是不可知的，而且什么样的学习过程会导致这种修改也是不可知的，这就为目前普遍流行的被称为“对抗样本攻击”的人工智能攻击手段敞开了大门。由此，可以将“对抗样本攻击”归为人工智能技术伴生的内生安全问题。同样的情况，人工智能系统的不可解释性也许不会影响人工智能系统在一般情况下的运行状态，但是否会导致人工智能系统可能出现失控的情况，造成系统可能会不按照人类所预计的或所期望的方式运行?而这种不可预计的情况是否会给人类带来威胁?这些问题都令人细思极恐。如果一个助残机器人不按照人类期望的方式运动，其结果反倒会伤害人类，这时人们反而会发现助残机器人的智能越低，其失控的概率也许越小。所以这类可能出现的“失控”问题是人工智能技术伴生的衍生安全问题。

就人工智能技术在安全领域中的赋能效应而言，可以举出许多利用人工智能技术进行安全防御或进行安全攻击的例子。将人工智能技术运用到网络安全态势感知是典型的赋能防御的案例；而利用人工智能技术来攻击人脸识别系统——用Deepfake技术来进行实时换脸以绕过人脸识别过程中的新鲜度检测——的手法则是典型的赋能攻击案例。

正是因为人工智能技术受到了各国政府的重视，国际社会也期望通过人工智能技术来显著地改善人们的生产与生活方式，甚至包括国家的治理模式。这使得人工智能技术领域的研究视角大都集中在如何发展人工智能技术、如何推进人工智能技术的市场化应用上来。而这种高速推动人工智能技术发展的力量会进一步强化人工智能技术的发展与人工智能安全被忽视之间的不均衡态势。人们沉浸在人工智能技术所带来的社会变化的喜悦中，很容易忽视人工智能技术安全问题的伴生效应，以及人工智能技术在安全领域中的赋能攻击效应。作为专业从事网络空间安全技术研究的团队，大家一致认为是时候要让人们对人工智能安全问题警醒了。事实上，人工智能技术所伴生的已经不仅仅是内生安全问题和衍生安全问题，还涉及到伦理、法律等一系列与社会治理有关的挑战性问题。为此，以广州大学网络空间先进技术研究院的团队为主，本人组织了一批学者编撰了本书，旨在让人们在高度关注人工智能技术发展的同时，也注意到人工智能安全问题及相应技术的演进。

本书共12章。其中，第1章人工智能技术发展概述由方滨兴、韩伟红主笔，第2章世界各国人工智能发展战略规划由李树栋、方滨兴主笔，第3章人工智能安全概述由崔翔主笔，第4章人工智能助力安全由廖鹏主笔，第5章人工智能的内生安全由顾钊铨主笔，第6章人工智能衍生安全问题由苏申、田志宏主笔，第7章人工智能行为体由鲁辉主笔，第8章人工智能行为体保险箍由田志宏、崔翔主笔，第9章人工智能行为体的安全评估与检测由方滨兴、蒋琳主笔，第10章人工智能安全伦理准则由方滨兴、尹捷主笔，第11章人工智能前沿技术由李默涵主笔，第12章人工智能安全的未来展望由方滨兴、顾钊铨主笔。全书由方滨兴、顾钊铨、崔翔统稿。本书在撰写过程中得到了高文院士的指导，在此表示诚挚的谢意。此外，还要感谢电子工业出版社的赵丽松和沈艳波两位副总编，她们为本书的出版做了大量辛勤的工作。

人工智能技术的发展历史很长，先后出现了不同的研究方法与技术路线，尽管大部分的研究结果可以说是殊途同归，但学者们仍然存在着各执己见、自成体系的情况。在这种情况下，本书难以涵盖所有学术流派的研究路线，也就无法针对各种情况来论述相应的安全问题。本书只求抛砖引玉，仅就所关注到的人工智能技术论述其所关联到的安全问题及相关技术，疏漏之处，还望读者理解。

2020年5月