前言
人工智能科学是研究理解人的心智和模拟人类的思维与智能，建立人机结合（人机一体化）的系统的理论。它以整体论和还原论为指导思想，采用从定性到定量的综合集成法，以人机结合为指导方针，把各方面有关专家的知识及才能、各种类型的信息及数据、计算机软件有机地结合起来，构成一个系统，发挥系统的整体优势和综合优势。人工智能科学的重点在于人的智能与计算机的高性能两者的结合，构建人机结合的智能系统；思维科学着重研究思维的规律，旨在建立人工智能的基础；认知科学着重研究人的认知，并扩展为研究动物智能及机器智能。深度学习是人工智能发展的高级阶段，是机器学习重要的研究领域，采用包含多个隐藏层的神经网络结构，目的是建立模拟人脑学习过程的人工神经网络。近年来，随着数字经济的全面深化发展，深度学习已经在自然语言处理、计算机视觉、机器人学、城市计算、智慧医疗、智能交通等领域取得了重要的成果。
《新一代人工智能发展规划》提出，到2025年人工智能基础理论实现重大突破，部分技术与应用达到世界领先水平，人工智能成为带动我国产业升级和经济转型的主要动力，智能社会建设取得积极进展；到2030年人工智能理论、技术与应用总体达到世界领先水平，成为世界主要人工智能创新中心，智能经济、智能社会取得明显成效，为跻身创新型国家前列和经济强国奠定重要基础。
本书从深度学习的理论基础和应用实践出发，以神经网络的时间轴（发展顺序）为主线，以深度学习的知识体系为骨架，尽量系统地梳理了深度学习所涉及的基础理论和算法，力图做到以下几点。
（1）知识框架清晰且知识范围重点突出。
深度学习作为机器学习的后起之秀，涉及知识面广、研究方向多，在知识体系的组织方面，以神经网络的生物原理和神经元模型作为开端，由浅入深地逐章讲解几种典型的神经网络模型，包括多层感知器神经网络、自组织竞争神经网络、径向基函数神经网络、卷积神经网络、循环神经网络、注意力机制与反馈网络、受限玻尔兹曼机和深度置信网络、栈式自编码器、生成对抗网络、图神经网络、深度强化学习等，基本构成深度学习的学习方法、学习规则、模型评估方法、正则化方法、优化算法等。知识点间考虑详略布局、突出重点、层次清楚。
（2）重视基础理论及知识点关联关系。
本书以机器学习、神经网络及深度学习为基础理论。由于深度学习知识关系错综复杂，并且新知识层出不穷，所以本书尽量厘清各知识点的相关概念、机理，以及知识点间的相互关系。对于各个知识点，注重由基础到扩展，形成本书深度学习相关的基础知识体系。
（3）强化理论与实践应用相结合。
深度学习将人工智能技术推向新的热点、高度及前所未有的应用。机器学习是实践性很强的综合学科，本书尽量在罗列深度学习知识、概念、理论和方法的基础上，紧密结合实际应用，除在介绍相关模型算法后附有算法代码实现、工具说明或实验数据外，还有与实际应用紧密结合的经典案例，有利于读者通过应用灵活掌握知识、融会贯通，从而解决工作中的智能问题。
全书共16章。第1章是绪论，简要介绍人工智能、机器学习、神经网络与深度学习的基本概念及相互关系，并对神经网络的发展历程和产生机理进行阐述。
第2章介绍神经网络的基本神经元模型、网络结构、学习方法、学习规则、正则化方法、模型评估方法等基础知识。
第3～8章主要介绍几种基础的典型神经网络，包括多层感知器神经网络、自组织竞争神经网络、径向基函数神经网络、卷积神经网络、循环神经网络、注意力机制与反馈网络。
第9章介绍深度学习网络优化的相关内容。网络优化主要包括参数初始化、数据预处理、逐层归一化、超参数优化、优化算法。
第10～13章介绍受限玻尔兹曼机和深度置信网络、栈式自编码器、生成对抗网络和图神经网络。这几章介绍的是比较复杂的神经网络。其中，受限玻尔兹曼机是一种概率图模型，Carreira-Perpinan等提出了对比散度算法，使得受限玻尔兹曼机的训练非常高效。对于自编码器，主要介绍稀疏编码器、栈式自编码器、降噪自编码器。生成对抗网络是一种深度生成模型，通过让两个神经网络相互博弈的方式进行学习。图神经网络（Graph Neural Network，GNN）是斯坦福大学Jure Leskovec教授在ICLR 2019中提出的图深度生成模型，图生成模型的方法和应用在第13章阐述。
第14章介绍深度强化学习。强化学习是机器学习的一种重要方法，通过智能体不断与环境进行交互，并根据经验调整其策略，使其长远的所有奖励的累积值最大化。本章主要介绍马尔可夫决策过程的价值函数、策略函数，以及Q-Learning、Deep Q-Network、AlphaGo、蒙特卡罗算法等。
第15章介绍深度学习的可解释性。长期以来，深度学习作为一种黑盒系统在发挥作用。2016年以后，越来越多的研究者建议通过对深度学习的可解释性来解释深度学习的黑盒。本章介绍可解释性的方法和分类，并进一步对卷积神经网络特征可视化进行原理分析。
第16章介绍多模态预训练模型。本章梳理多模态预训练的理论基础和模型特征，主要基于Transformer模型架构基础，以及扩展的BERT、GPT、OPT模型对预训练的自监督学习方法及预训练模型的微调进行阐述。
本书是人工智能系列内容的深度学习部分，选编的内容主要以神经网络和深度学习的理论知识为主，但限于篇幅和写作时间，有些前沿或专业方面的知识未能列入其中，更多专业和高阶的知识还需要读者在专业领域内深入学习。
深度学习是综合性较高的交叉学科，不仅包含较深的概率论、微积分、数学优化知识，还包括统计学、信息论、计算机知识等，再加上现有深度学习算法大多数还需要大量的标注数据，即使有相当多的预训练模型通过自监督完成了一些任务，但在完成其他任务时，也需要进行迁移学习、预训练微调等，需要做大量的调参或训练工作，因此，通用人工智能还有很长的路要走。本书立足神经网络与深度学习的发展历程，总结和梳理经典理论、方法和应用场景，试图逐步总结出人工智能理论体系和最佳应用实践，但人工智能知识体系错综复杂、头绪比较多，可能离目标还相距甚远。
本书在编著的过程中参阅了大量人工智能与深度学习方面的书籍并收集了大量的资料，参考和引用了国内外许多著名专家、学者的著作和论文，也得益于这些年在我参与的一些智慧工程项目（如智慧医疗、智能交通、服务推荐等）中获得的一些专家专著的知识分享和经验总结，在此表示衷心的感谢。另外，还要感谢我的家人给予的支持和鼓励，使我顺利完成写作。深度学习已经成为人工智能发展一颗璀璨的明珠，新的技术快速发展。由于时间仓促，加上我对深度学习领域的研究和知识水平都有很大的局限性，书中难免存在疏漏，敬请读者批评指正。
赵眸光
2022年6月于清华园