LLM 缺的不是智力，而是 runway

观点来自作者本人与 AI 的讨论，文字整理由 AI 辅助完成。

上一篇的结尾，我说 LLM 替代的是「人」，而不是概率模型；理想的推荐系统里，LLM 会自主地去组织那些经典模型模块。

顺着这个想法往下走，自然会碰到几个问题：如果真的让 LLM 自主决定什么时候调用排序模型、怎么组合模型结构里的各个模块，这条路的天花板会更高吗？如果给它足够的实验流量，让它每周迭代一次，它能不能自己把系统越做越好？

这篇是我顺着这些问题一路追问下去的结果。追到最后，我发现答案和「LLM 够不够聪明」关系不大。

天花板更高，但瓶颈不在模型#

先说天花板。一个能自由选择、组合模块的系统，它的可选空间是任何一个固定架构的超集。理论上，它的上限不会低于其中任何一个固定方案。

但上限高，不等于能走到上限。

如果让 LLM 在每次请求里实时编排模型，就又回到了上一篇说的成本问题，账算不过来。更现实的形态是离线的：LLM 扮演的是工程师和研究员的角色。它提出一个改动，跑实验，读结果，再决定下一步做什么。

这样一来，瓶颈就不在 LLM 提方案的能力上了，而在评估上。一个改动到底好不好，最终只能靠实验来回答。

每周迭代一次，会发生什么#

假设我们给 LLM 一批实验流量，让它每周上一个改动、看一次结果。听起来很美，但会遇到几个很实际的问题。

一周只能看到短期。 一周的 A/B 实验，看到的主要是短期指标。可推荐系统真正在乎的长期留存，往往要几个月才显现；用户对系统的变化也会慢慢适应，短期看到的收益，长期可能会缩水甚至反转。Google 曾专门研究过这个问题，发现只看短期指标做决策，会系统性地偏离对用户和业务都更好的方向。¹

假阳性会累积。 每周测一个改动，一年就是五十多次。只靠统计显著性来判断，其中总会有几个是噪声碰巧显著。如果系统自动上线这些「赢家」，日积月累，系统里就会留下一堆其实无效、甚至有害的改动。²

流量有成本，实验之间也会互相干扰。 实验流量本身就是代价。同时跑的几个实验，又共享同一个内容池和创作者供给，彼此会互相污染。

所以最难的，其实不是让 LLM 想出好方案，而是搭起一套不需要人工介入、又值得信任的实验框架。

再往深一层看，这套框架本质上是一个贪心算法：每周选出眼前最好的那一步。而贪心，不等于全局最优。

新范式是谁带来的#

这就引出了下一个问题：人也是在这样的框架里每周迭代的，为什么人能带来范式级的改变，而 LLM 不行？

我最初的直觉是：人有新想法，LLM 没有。但这个直觉站不住。

有一项上百位 NLP 研究者参与的研究发现，LLM 生成的研究想法，在盲评中被认为比人类专家的更新颖，只是可行性略差一些。³ 回头看推荐系统这些年的几次范式转变，从 Wide & Deep、YouTube 的深度召回，到 DIN、SASRec，再到 TIGER、HSTU，⁴ 很多关键想法其实在别的领域已经存在：注意力机制和 Transformer 来自 NLP，生成式检索来自信息检索，扩展定律来自大模型。把一个领域的想法搬到另一个领域，这恰恰是 LLM 擅长的事。

人真正多出来的，不是想法，而是三件事：在连续的负结果里坚持下去；为一个新方向从零搭起新的模块；押注，并为这个押注负责。

而且，还要承认一个更根本的事实：人其实并不能稳定地做出正确的决定。 我们记得的，是那些押对了的人；同一时期押错方向、投入几年最后不了了之的人，我们不会记得。人在高不确定性下押注的命中率，整体上并不高。我们之所以觉得「人能做对」，很大程度上是幸存者偏差。

任天堂：枯萎技术的水平思考#

说到知识迁移，我最佩服的公司是任天堂。它的设计哲学来自横井军平的一句话：「枯萎技术的水平思考」。⁵ 意思是不追最新的技术，而是把已经成熟、便宜、被人吃透了的技术，用到别人没想到的地方去。

任天堂几乎每一次突破都是这样来的。据说横井在新干线上看到一个上班族无聊地按着液晶计算器，于是有了 Game & Watch。Game Boy 用的是黑白屏，同期对手都是彩屏、带背光，但 Game Boy 便宜、耐摔、电池耐用，最后赢了。Wii 手柄里的加速度传感器是当时已经很普及的廉价器件，机器的性能明显弱于同代对手。Switch 用的是一颗两年前的移动芯片。

我觉得这特别了不起。而且其实不只是任天堂，人类大部分企业级的突破都来自这里。经济学家 Brian Arthur 有一个观点：新技术几乎都是已有技术的重新组合。⁶ iPhone 里的多点触控、电容屏、移动芯片，单拿出来都不是苹果发明的。

但细看任天堂，技术本身不是最难的部分。把成熟的技术搬到新的地方，前面说过，这恰恰是 LLM 也能做的事。真正难的是另外两件事。

第一，它拒绝了整个行业的 reward。 游戏行业长期的 reward 是机能、画面、参数，所有人在同一个指标上贪心地往前挤。任天堂选择更弱的技术，等于主动退出这场竞争，转而去优化另一个目标：谁会来玩，玩起来是什么感觉。Wii 把老人和小孩都拉进了客厅，靠的不是更好的显卡，而是换了一个 reward。而选择哪个 reward，本身是一个价值判断。

第二，它有 runway。 任天堂也押错过很多次。Virtual Boy 几乎是横井本人的滑铁卢，他不久后就离开了任天堂。「枯萎技术的水平思考」并不是一套保证成功的公式，我们记住了 Game Boy，却容易忘了 Virtual Boy，这又是幸存者偏差。Wii U 在商业上也很失败，但「主机和掌机合一」的想法没有被放弃，五年后变成了 Switch。一个在负结果上坚持了好几年、最后才做成的想法，这就是 runway。

差别在 reward#

那么，人和 LLM 的差别到底在哪？任天堂的例子已经给了提示：我觉得根源在 reward。

LLM 在训练中被奖励两件事：预训练时，预测语料里最可能出现的下一个词；对齐训练时，让眼前的打分者满意。前者让它的默认立场向共识靠拢，后者让它倾向于讨好：你一反驳，它就容易改口。⁷ 在和 AI 讨论这篇文章的过程中，我两次反驳它，它两次都改了口。那两次我是对的，但如果我是错的呢？

两者加起来，LLM 优化的是「当下看起来对、让眼前的人满意」，而不是「最终被证明是对的」。

人的 reward 不一样。人面对的是延迟很久的真实结果，是落在自己身上的切身利害，还有自己的信念。但人身上也有很差的 reward：半年一次的绩效周期、每周的指标、组织里的政治。在短期 reward 之下，一群很聪明的人，同样会做出局部最优的选择；结果交付不了的时候，甚至会忙着分锅。

所以，人也不天然遵循第一性原理。大多数人大多数时候，同样在追逐眼前的 reward、跟随共识。

真正坚持第一性原理，需要两样东西。一是公理：推荐系统里，「用户的长期价值是什么」「一个信号到底带来多少信息」「算力就是成本」，这些不是推导出来的，是和真实数据、失败的实验长期打交道磨出来的。LLM 能推导，但它的公理是二手的。二是坚持：连续几个月看到负结果、周围的人都说不行的时候，还守着自己推出来的结论。今天的 LLM 没有跨会话的持续自我，押错了不用付代价，还被训练成倾向于让步。

说到底：

范式转变的本质，是违背眼前的 reward，去追一个自己相信的、更远的 reward。人偶尔能做到，而 LLM 被训练成不这样做。

给 LLM 一段 runway#

所以问题不是「LLM 不能」，而是我们没有给它这样的环境。如果真想让 LLM 在推荐系统里做出不贪心的决定，需要改的是它所处的 reward：

• 一个写死的长期目标，比如长期留存，短期指标不能覆盖它；
• 持久的记忆，记下自己提过的假设、做过的押注，以及后来的结果；
• 一笔明确的负结果预算，允许它在一个方向上连续几周甚至几个月负向，而不被叫停；
• 按长周期来考核，而不是按周。

仔细看，这份清单正是组织给资深的人的东西：一个使命，和一段 runway。

也可以把它设计成快慢两层：快的一层照旧每周贪心迭代，由经典的自动化流程负责，把能拿的短期收益都拿到；慢的一层交给 LLM，持有少数几个长期押注，带着自己的 runway 和记忆，按季度看结果。

换句话说，搭实验框架最难的部分，是设计 reward。 如果框架只给周度 A/B 的 reward，再聪明的 LLM，也只会把局部最优做得更快、更好。指标一旦成了目标，就不再是好指标；这句老话对 LLM 同样成立，甚至更成立，因为它优化起来比人更彻底。

留给人的#

回头再看人和 LLM 的差别，可以分成两类。

一类是能力上的差距：那些从来没被写下来的上下文，比如三年前谁试过什么、为什么失败；以及从自己少量、延迟很久的结果里持续学习的能力。这些会随着记忆、持续学习这些技术的进步而缩小。

另一类不是能力问题：谁为结果负责，以及推荐系统应该更「草根」还是更「精英」这样的价值取舍。这些问题没有正确答案，交给人，不是因为人选得更对，而是因为人有承担责任的资格、有做这种选择的正当性。

所以我的看法是：LLM 会替代人的执行，甚至大部分判断；但责任和价值的选择，会留在人这边。

上一篇说，LLM 替代的是人。这一篇想补一句：它缺的不是智力，而是一个不贪心的 reward，和一段允许它犯错的 runway。

而给不给它这段 runway，本身就是人的决定。