LLM 接管 RecSys？也许我们跑错了方向

观点来自作者本人，文字整理由 AI 辅助完成。

现在学术界有一种倾向：追求让 LLM 完全接管推荐系统。对于将来某一天的「完全替换」，或者某种「缝合式」的替换，我都保持开放的态度；但在我看来，以今天的技术，完全替换既得不到支撑，也并不现实。我们不应该只在这一条路上一路狂奔，更灵活的范式，应该被纳入讨论。

这并不只是我的判断。Snap 最近公开的技术报告就坦承，他们尝试一夜之间用生成式模型替换线上的级联系统，结果是负的；到今天，他们模型产出的每一个候选仍然要经过精排，而模型自带的排序能力依然不如生产环境的精排。¹

LLM 加上经典的计算模型，就是这样一种更灵活、也更务实的方式。不同的模型结构，天然就应该做不同的事情。就像人做数学题，遇到复杂的计算，还是要拿起纸和笔，或者借助计算器。道理是一样的。

为什么这么说？因为 LLM 更像一个人，而不是一台精密的机器。想清楚这一点，它在推荐系统里该放在哪，也就清楚了。

它第一次「懂」了内容#

一条内容讲的是什么，过去只能靠人审。经典推荐系统其实从来没有真正知道过这一点，它只是绕开了这个问题：协同过滤、序列建模这些方法，都不需要理解内容本身，只需要观察「喜欢 A 的人还喜欢什么」。代价是必须先有流量，一条新内容在被足够多的人看过之前，对系统来说几乎是一片空白。

这种「不懂内容」带来的后果，做过推荐的人都见过：系统很容易掉进局部最优。哪些 topic 的 engagement 好，流量就全涌向哪里，所谓的个性化，最后变成了千人一面。平台上充斥着段子、软色情、宠物，这类信息含量很低、但数据很好看的视频。

不是没人想跳出来。一方面，指标的压力让平台不敢充分试错；另一方面，在不懂内容的前提下，每一次试错都要真金白银地花流量去换，成本太高。于是流量平衡的问题，很大程度上只能靠运营和人工干预去解决，或者人为设计一些代表多样性的指标，勉强去缓解。

LLM 第一次做到了不需要流量、不需要先拿用户去试，就能直接告诉你一个内容是什么、关于什么。系统终于可以在花流量之前，就知道一条内容值不值得试、该给谁试。这是经典系统做不到、或者做得不好的事情，也是 LLM 给推荐系统带来的最独特的增量。

懂行，但算不准#

LLM 像商场里一个懂行的销售员。你说喜欢什么风格，他马上知道去哪几个货架找，哪怕是今天刚上架、还没人买过的新品。

但他回答不了另一个问题：这件衣服你到底有多喜欢，是 75%、77% 还是 83%?

假设有 10 个视频，你多多少少都喜欢，喜欢的程度分别是 0.8、0.75、0.9……在日常生活里，哪个先看、哪个后看，关系不大。

但在一个大规模的推荐系统里，排错了先后顺序，往往就是 0.1%、0.2% 的时长、会话数或长期留存的损失。这是人会觉得「无所谓」的差别，可一旦乘上每天数以亿计的曝光，落到纸面上、日积月累，损失就非常可观。在广告里更直接，这个概率还决定一次展示收多少钱。早年 Facebook 一篇讲广告点击预估的论文就提到，预估的准确度哪怕只提升一点点，对业务也是实打实的收益。²

要拟合这种精度，需要精密的建模、海量的流量，以及大量「记住」具体用户和具体内容的特征。这种精确计算，LLM 处理不了。这是一台精密机器的工作，不是一个人的工作。

有意思的是，LLM 的长处和短处来自同一个地方。它能不看数据就懂内容，靠的是像人一样从语义和常识去泛化；而泛化的另一面，就是记不住精确的统计规律。Google 在 2016 年那篇 Wide & Deep 里，把推荐系统需要的能力拆成了「记忆」和「泛化」两半。³ 用这个框架看，LLM 把泛化推到了前所未有的高度，但记忆这一半，依然要靠经典模型。

卡尼曼在《思考，快与慢》里讲过，人的直觉判断很快、也常常很准，但一旦需要精确估计概率，就容易出错。⁴ LLM 继承的，正是这样一种能力结构。最近有团队专门在做让模型输出校准概率的「System One」模型，名字就取自卡尼曼的「快思考」⁵，说明大家已经意识到这块短板。也许将来这类模型能改变局面，但至少在今天，LLM 和经典推荐系统在精确打分上的差距依然很大。

账也算不过来#

还有一个更朴素的问题：成本。

用户每刷新一次，系统要在几百个候选里挑出最好的几个。如果让 LLM 给每一个候选打分，算下来的推理成本，很可能比这次刷新本身能带来的收入还高。在天量的流量面前，让 LLM 全量接管排序，目前看并不现实。

反过来，理解一条内容只需要做一次，结果可以被它之后的所有曝光复用。所以把 LLM 放在「理解内容」的位置，账是算得过来的；放在「给每次请求打分」的位置，账就算不过来。

所以，LLM 替代的是人#

既然 LLM 更像一个人，那么问题就变成了：推荐系统里，哪些事情原本是人在做的？

判断一条内容讲什么、是否合规，是人审在做；决定上哪些特征、几个目标怎么权衡、下一轮实验测什么，是工程师在做；冷启动该扶持谁、流量怎么平衡、怎么把系统从局部最优里拉出来，是运营在做。这些工作需要的是理解、判断和常识，而不是精确到小数点的概率。

而那些需要精确概率的部分，原本就不是人在做，是概率模型在做。

所以我心中的推荐系统，是 LLM 和经典模型互相协作：LLM 负责理解和判断，经典模型负责精确计算；更进一步，由 LLM 自主地去协调、组织那些经典模型模块，用它们来补足自己的短板。这其实也是大模型自身的发展方向：遇到精确计算，最好的办法从来不是硬算，而是学会去调用计算器、调用工具；⁶ 用 LLM 当优化器、让它调用评估器反复迭代的思路，也已经在一些公开研究里出现了。⁷ 就像开头说的，人做复杂的数学题，会拿起纸笔和计算器；一个懂行的人，也应该用好手里的精密仪器。

当然，人不会完全消失。最终的系统里，可能还需要非常少量的人工干预，但需要的人会非常少，做的也是非常高层次的事情：这个推荐系统应该是什么风格？各类流量大致应该占多少？它应该更「草根」一些，还是更「精英」一些？这些是关于取向的选择，本来就该由人来回答。

这才是推荐系统的未来。

简单地说，LLM 替代的是「人」，而不是概率模型。