推荐序

自20多年前亚马逊公司的工程师最早设计出电商场景的协同过滤算法并将其大规模应用于推荐系统以来，伴随着机器学习/人工智能技术的飞速进步，个性化推荐系统（Recommender System, RS）已历经数次革新与蜕变。这个发端于信息过载，催生及发展于电子商务、UGC（用户生成内容）、短视频、社交网络等移动互联网时代的应用，恐怕是迄今为止AI技术最成熟、商业影响力最大的应用，从商品、书籍、音乐、信息到短视频和娱乐，推荐系统为我们带来了流量个性化时代和与之伴随的内容选择的极大丰富度。尽管很多人还没有意识到，个性化推荐已经彻底改变了我们的生活方式。

推荐系统是AI技术大显身手的地方，从事AI/机器学习的朋友应多关注推荐系统，这里蕴藏着对AI最前沿和最丰富的技术的挑战，同时，AI在推荐系统的落地实践中有以下几个容易被忽略的特点。

1）推荐的算法应用是AI的系统性应用，个性化推荐本身是个复杂的自闭环系统，而不是单模块下输入和输出的简单整合。在AI领域，尽管推荐算法与人脸识别、语音识别常常被同时提及，但实际上推荐算法与另两者在应用模式上有着本质区别，它是一个高度精密的多模块协同的AI算法体系，是为了满足应用目标而构建的包含表示学习、画像、召回、粗排、精排、重排等算法模块的综合性算法应用系统。从这个角度来说，推荐算法更多是对标于自动驾驶算法系统或机器人算法系统这样的AI应用系统。

2）推荐系统服务和互动的对象是这个星球上最复杂的对象——人脑，而且是有着多元分布的大规模人脑群体。可想而知其面临的问题的复杂性和挑战维度。归根结底，推荐系统的使命是最大化服务对象的满意度，但我们都知道这个终极目标背后的建模维度非常高，影响因素异常复杂，这也是鲜有直接以留存和人均时长等作为学习预测目标的原因。

3）因为问题难度高、维度规模大，推荐系统涉及的挑战因素和层面非常多，比如推荐建模中经典的E&E（Exploration & Exploitation）问题、Debias问题、冷启动问题、公平性问题、预训练和表示学习问题、价值度量和长程（Long Term）价值优化问题、信息茧房问题等。概括地说，AI在其他领域遇到的技术挑战，推荐系统几乎都会遇到，同时推荐系统还存在一些独有的挑战。因此，推荐系统是AI技术最好的练兵场之一。这从近年来AI在其他领域的技术突破第一时间会被迁移应用到推荐系统中可见一斑，从视觉领域发端的深度学习（DNN）模型，自然语言领域首先提出的Transformer、大规模预训练模型，到近期的强化学习（RL）模型、因果推断模型等，这些都在推荐系统中得到了快速应用和价值证明。同时，在推荐系统的应用过程中也发展出了很多具备通用价值的反哺整个AI领域的多任务学习（MTL）模型、图学习模型等。

4）除推荐系统自身是一个经设计组装的协同和闭环系统之外，它实际上也同时存在于一个更大的，包含产品设计、内容运营、流量经营在内的“生态圈”内部。目前除在推荐系统的模块内部基本上有明确共识的可直接优化的量化目标外（如粗排、精排、混排的目标），“生态圈”中的系统之间，以及推荐与产品、内容、运营的整体协同配合方面，很大程度上还是一个依赖人工设计的空间。因此，很多时候推荐系统设计的空间是一个创造性的、结合经验和艺术发挥的空间，不可能科学严谨地推导出最优解，很大程度上还是需要依赖工程师的实践经验和创造性的设计能力，并通过大闭环的end2end的实验评估来择优选用解决方案。因此，推荐系统是一个非常有意思的局部模块较明确地量化，但模块间整体耦合需要凭经验和直觉确定的科学融合艺术的领域。

当争超和黄帆找到我说他们写了一本关于信息流推荐算法的书时，我的第一反应是：是时机写这样一本书了。因为关于推荐系统早年是有很多书的，这些书主要集中在介绍协同过滤、Netflix竞赛中发展出的矩阵分解算法，以及深度学习刚兴起时的各类DNN算法等方面，同时也往往局限在召回和精排两个模块上。而近几年推荐系统有了非常大的技术革新，随着抖音、快手、视频号等全屏短视频时代的到来，推荐算法发生了很大的范式变化，精排到混排的链路基本形成了深度多任务学习模型+进化学习、强化学习的主流范式，破除了列表页时代的单任务、重CTR（Click Through Rate）预估的建模范式，同时端云协同、图学习、大规模预训练模型、多模态建模、因果推断、Debias都有了全面的升级和应用。因此，是时候更新迭代一下大家对于推荐系统的认知了。本书作者的从业经验使得他们非常适合写这样一本书，两位作者经历过阿里、腾讯等国内一线大厂和多家独角兽级公司的实战洗礼，对大规模推荐系统有着最真实的实践经验，同时对创业公司强约束小数据条件下的冷启动挑战也有着深刻的体会。在腾讯共事期间，我在多任务学习、统一价值度量和建构方面的一些思路、想法经常和两位作者交流讨论。另外，两位作者经历过的推荐业务涉及国内及跨境电商、长短视频、文玩拍卖等不同商业领域，涉及从百万到亿级别的DAU（日活跃用户数量）产品用户规模，这对于形成对推荐系统的横向泛化的通用经验是非常必要的。拿到书稿后我快速通读了一遍，的确印证了我的判断，相比之前推荐算法相关的图书，对于上面提到的推荐系统的特点，本书有着更为完整、立体和覆盖最新进展的论述。相信本书无论对推荐系统的入门读者还是有一定经验的从业者，都有很高的阅读价值，能够带着大家快速地走进推荐算法的应用前沿。

刘军宁