1.1.4 机器学习与深度学习

我们在前文介绍了人工智能的定义以及基本概念，下面将介绍人工智能发展的主要分支：机器学习和深度学习。如图1-2所示，人工智能发展的一个很重要的分支便是机器学习，由人工智能的连接主义发展形成的一个重要领域分支，它的核心目的是让计算机拥有像人一样的学习能力。而在机器学习中的一个庞大分支就是神经网络，严格来说深度学习属于机器学习的一个类别，但是随着近年来深度神经网络的发展，特别是深度学习应用范围的不断扩展，深度学习已经成为机器学习领域的一个重要部分。

图1-2 人工智能、机器学习、深度学习三者之间的关系

机器学习（Machine Learning）是关于计算机系统使用的算法和统计模型的科学研究，这些算法和统计模型不使用明显的指令，而是依靠模式和推理来有效地执行特定的任务。它被视为人工智能的一个子集。机器学习算法是建立在一个样本数据集（称为“训练数据”）上，在没有明确编程指示下根据任务的情况做出预测或决策的数学模型。机器学习算法被广泛应用于各种各样的应用中，如电子商务中的智能推荐和垃圾邮件判定等，在这些应用中对每一条数据编写特定指令是不切实际的。机器学习与计算统计学密切相关，计算统计学主要用于解决计算机的预测问题。数学优化的研究为机器学习领域提供了方法、理论和应用领域。数据挖掘是机器学习中的一个研究领域，其重点是通过无监督学习进行探索性数据分析。

“机器学习”这个名词是由阿瑟·塞缪尔于1959年提出的。汤姆·M·米切尔给机器学习领域中所研究的算法下了一个被广泛引用、更为正式的定义：“如果一个计算机程序在任务T（由P来度量）中的表现随经验E而改善，那么我们称该程序从经验E中学习。”这个对机器学习所涉及任务的定义提供了一个基础的操作定义而非认知上的定义。

深度学习，也称“阶层学习”或“分层学习”，是基于学习数据表征的更广泛的机器学习方法系列的一部分，而不是基于特定任务的算法。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的优势是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。其中深度指的是网络中最长的输入输出距离。

那么深度学习和机器学习的区别是什么呢？如图1-3所示，机器学习，即所谓的统计机器学习，在处理问题时，首先需要人工进行特征提取，然后根据提取后的特征进行分类问题求解。而深度学习的强大之处在于，将特征提取和分类问题求解汇总在一个神经网络模型中，只需一次输入即可得到最终的输出结果。

图1-3 机器学习与深度学习之间的差异及联系

1.2 人工智能发展历程

图1-4是人工智能发展情况概览。人工智能的发展经历了很长时间的历史积淀，早在1950年，阿兰·图灵就提出了图灵测试机，大意是将人和机器放在一个小黑屋里与屋外的人对话，如果屋外的人分不清对话者是人类还是机器，那么这台机器就拥有像人一样的智能。随后，在1956年的达特茅斯会议上，“人工智能”的概念被首次提出。在之后的十余年内，人工智能迎来了发展史上的第一个小高峰，研究者们疯狂涌入，取得了一批瞩目的成就，比如1959年，第一台工业机器人诞生；1964年，首台聊天机器人也诞生了。但是，由于当时计算能力的严重不足，在20世纪70年代，人工智能迎来了第一个寒冬。早期的人工智能大多是通过固定指令来执行特定的问题，并不具备真正的学习和思考能力，问题一旦变复杂，人工智能程序就不堪重负，变得不智能了。

图1-4 人工智能起源及发展

虽然有人趁机否定人工智能的发展和价值，但是研究学者们并没有因此停下前进的脚步，终于在1980年，卡内基梅隆大学设计出了第一套专家系统——XCON。该专家系统具有一套强大的知识库和推理能力，可以模拟人类专家来解决特定领域问题。从这时起，机器学习开始兴起，各种专家系统开始被人们广泛应用。不幸的是，随着专家系统的应用领域越来越广，问题也逐渐暴露出来。专家系统应用有限，且经常在常识性问题上出错，因此人工智能迎来了第二个寒冬。

1997年，IBM公司的“深蓝”计算机战胜了国际象棋世界冠军卡斯帕罗夫，成为人工智能史上的一个重要里程碑。之后，人工智能开始了平稳向上的发展。2006年，李飞飞教授意识到了专家学者在研究算法的过程中忽视了“数据”的重要性，于是开始带头构建大型图像数据集——ImageNet，图像识别大赛由此拉开帷幕。同年，由于人工神经网络的不断发展，“深度学习”的概念被提出，之后，深度神经网络和卷积神经网络开始不断映入人们的眼帘。深度学习的发展又一次掀起人工智能的研究狂潮，这一次狂潮至今仍在持续。

图1-5列出了人工智能发展史上的一些重要事件。从诞生以来，机器学习经历了长足发展，现在已经被应用于极为广泛的领域，包括数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏、艺术创作和机器人等，鉴于篇幅有限，本书将侧重讲述机器学习和深度学习未来发展的一大趋势——自动化机器学习和深度学习（AutoML及AutoDL）。

图1-5 人工智能发展重大事件

1.3 深度学习的崛起之路

1.3.1 人脸识别的起源

2012年，Alex Krizhevsky等人提出了AlexNet网络结构模型，以一种结构上轻巧简单但计算量上远超传统模型的方式轻易战胜了传统的机器学习模型，并凭借它在ImageNet图像分类挑战赛上赢得了冠军。自此，在图像领域点燃了深度学习的热潮，无数公司与学者纷纷转向该领域，并在短短几年内就取得了大量的突破性进展，其中包括何凯明等人提出的残差神经网络、谷歌提出的GoogLeNet等。这些新的研究成果使得人脸识别等过去不可能实现的场景拥有了落地的可能。