机器学习中的加速一阶优化算法
上QQ阅读APP看书,第一时间看更新

英文版前言

在为北京大学开设的优化课程准备高级材料时,我发现加速算法是对工程专业学生最有吸引力和最实用的专题.实际上,这也是当前机器学习会议的热门话题.尽管有些书介绍了一些加速算法,例如[Beck,2017;Bubeck,2015;Nesterov,2018],但它们不完整、不系统且不是最新的.因此,在2018年年初,我决定写一本有关加速算法的专著.我的目标是写一本有条理的书,其中包含足够的入门材料和详尽的证明,以便读者无须查阅分散四处的文献,不被不一致的符号所困扰,并且不被非关键内容包围而不知中心思想为何.幸运的是,我的两个博士生李欢和方聪很乐意加入这项工作.

事实证明,这项任务非常艰巨,因为我们必须在繁忙的工作日程中抽空进行写作.最终,在李欢和方聪博士毕业之前,我们终于写完了一份粗糙但完整的初稿.接下来,我们又花了四个月的时间来使本书读起来流畅并订正了各种不一致和错误.最后,我们极为荣幸地收到Michael I. Jordan教授、徐宗本教授和罗智泉教授写的序.尽管这本书占用了我们近两年的所有闲暇时间,但当全书终于完成的时候,我们仍然觉得我们的努力是完全值得的.

希望这本书能成为机器学习和优化领域研究人员的有价值的参考书,这将是对我们工作的最大认可.

林宙辰
于北京·北京大学
2019年11月

参考文献

Beck Amir. (2017). First-Order Methods in Optimization[M]. volume 25. SIAM, Philadelphia.

Bubeck Sébastien. (2015). Convex optimization: Algorithms and complexity[J]. Found. Trends Math. Learn., 8(3-4): 231-357.

Nesterov Yurii. (2018). Lectures on Convex Optimization[M]. 2nd ed. Springer.