推荐序二

优化是机器学习的核心主题之一．在得益于纯粹优化领域的进步的同时，机器学习中的优化也形成了自己的特点．一个显著的现象是，一阶算法或多或少地成了机器学习的主流优化方法．虽然有一些书籍或预印本介绍了机器学习中使用的部分或全部主要优化算法，但本书着眼于最近机器学习优化中的一个明显的潮流，即加速一阶算法．加速一阶算法起源于Polyak的重球法并被Nesterov的一系列工作所引发，目前已成为优化和机器学习领域的热门话题，并取得了丰硕的成果．这些成果已经大大超出了无约束（和确定性）凸优化的传统范围．新的成果包括约束凸优化和非凸优化的加速、随机算法以及通用加速框架，例如Katyusha算法和Catalyst加速框架，其中一些甚至具有接近最佳的收敛速度．不幸的是，现有文献散布在广泛的出版物中，因此掌握基本加速技巧并全面了解这个快速发展的领域变得非常困难．

幸运的是，这本由林宙辰、李欢和方聪合著的专著及时满足了对加速一阶算法进行快速学习的需求．该书首先概述了加速一阶算法的发展历程，尽管略显粗略，但提供的信息极为丰富．然后，介绍了针对不同类别问题的代表性工作，并提供了详细的证明，这些证明极大地方便了读者对基本思想的理解和对基本技术的掌握．毫无疑问，这本书对于那些想要学习最新的机器学习优化算法的人来说是至关重要的参考书．

我认识林宙辰博士已有很长时间了．他以扎实的工作、深刻的见解以及对来自不同研究领域的问题的细致分析给我留下了深刻的印象．鉴于我和他有很多共同的研究兴趣，其中之一是基于学习的优化，我很高兴看到这本书经过精心撰写后终于出版了．

徐宗本
于西安·西安交通大学
2019年10月