1.2.3 深度学习的崛起

2006年，深度学习诞生。在这一时期，研究者逐渐掌握了训练深层神经网络的方法，使得神经网络重新崛起。

深度学习的概念由Hinton等于2006年提出，基于深度置信网络（Deep Belief Network，DBN）提出非监督贪心逐层训练算法，以及多层自编码器深层架构，为解决深层结构相关的优化难题带来希望。Lecun等提出的卷积神经网络是第一个真正的多层结构学习算法。该算法利用空间相对关系减少参数数目以提高训练性能。深度学习是机器学习中一种基于对数据进行表征学习的方法。深度学习的优势是用无监督或半监督的特征学习和分层特征提取算法替代手工获取特征。

Hinton提出了两个观点：①具有多个隐藏层的人工神经网络具有非常突出的特征学习能力，如果用机器学习算法得到的特征刻画数据，则可以更加深层次地描述数据的本质特征，这在可视化或分类应用中非常有效；②深度神经网络在训练上存在一定的难度，但这些可以通过“逐层预训练”来有效克服。

Hinton等首先通过逐层预训练来学习一个深度神经网络，并将其权重作为一个多层前馈神经网络的初始化权重，再用反向传播算法进行精调。这种“预训练+精调”的方式可以有效地解决深度神经网络难以训练的问题。随着深度神经网络在语音识别和图像分类等任务上获得的巨大成功，以神经网络为基础的深度学习迅速崛起。近年来，随着大规模并行计算及GPU设备的普及，计算机的计算能力得以大幅提高。此外，可供机器学习的数据规模也越来越大。在强大的计算能力和海量的数据规模支持下，计算机已经可以端到端地训练一个大规模神经网络而不再需要借助预训练的方式了。很多科技公司投入巨资研究深度学习，神经网络迎来第三个研究高潮。