The Bitter Lesson and Reward is Enough: Sutton's Two Principles of Intelligence
⚠️ 本文尚在撰写中，内容未完成，后续会继续补充与修订。
本文由 Codex 生成，作者审校。
The Bitter Lesson 讨论的是：在 AI 的长期历史里，什么样的研究方法最终会赢。Reward is Enough 讨论的是：什么样的目标组织方式可能让智能能力统一地出现。它们相关，却不是同一句话的两个版本。
Richard Sutton 有两篇经常被放在一起谈、但也经常被谈混的作品：2019 年的短文 The Bitter Lesson，以及 David Silver、Satinder Singh、Doina Precup、Richard S. Sutton 发表在 Artificial Intelligence 的 Reward is Enough。前者不是一篇实验论文，而是一则从 AI 历史提炼出来的研究方法论；后者则提出一个雄心极大的假说：智能及其诸多能力可以理解为服务于一个在环境中最大化奖励的主体。
这两篇作品之所以有力量，不在于它们给出了一个可以直接运行的“AGI 算法”，而在于它们迫使人重新回答两个更基础的问题：
- 如果我有有限的研究时间，应把赌注押在手工编码的知识，还是会随着算力与经验一起增长的方法上？
- 感知、记忆、语言、规划、社会性这些看似异质的能力，有没有可能不是各自独立的终点，而是实现长期目标时不得不长出的工具？
先给结论：Sutton 的答案不是“人什么都别设计，只管堆 GPU”，也不是“给一个标量奖励，智能就会自动从天而降”。更准确地说，应当把人的设计工作投到能利用持续增长的计算与经验、并能在复杂环境中持续学习的通用机制上；奖励提供统一的目标接口，但目标、环境、算法、表示、探索和安全约束缺一不可。
一张总图：两篇文章各自在回答什么
| The Bitter Lesson | Reward is Enough | |
|---|---|---|
| 作者与体裁 | Richard S. Sutton（2019），短篇博客文章 | Silver、Singh、Precup、Sutton（2021），Artificial Intelligence 299: 103535 |
| 核心问题 | 长期看，哪类 AI 方法最有生命力？ | 一个通用目标能否解释/驱动多种智能能力？ |
| 核心答案 | 能有效利用大规模计算的搜索与学习，反复战胜塞入人类知识的方法 | 在足够复杂的环境中，为最大化长期奖励而行动，可能迫使主体发展多种能力 |
| 关注对象 | 研究路线、算法范式、计算规模 | 智能主体、目标、环境、持续交互 |
| 最容易被误读成 | “领域知识毫无价值” | “任何标量奖励都足够、且 AGI 已有解” |
可以把它们连成一条链：
\[\text{增长的算力与经验} \xrightarrow{\text{Bitter Lesson}} \text{可扩展的搜索/学习方法} \xrightarrow{\text{Reward is Enough}} \text{在复杂环境中为长期回报而形成的能力}.\]第一支箭头讲的是方法的选择，第二支箭头讲的是能力为什么会有统一的功能性来源。中间仍然缺少很关键的一环：我们尚不知道怎样构造一个既高效、稳健又安全的学习系统，让这条链真正闭合。
1. 读 The Bitter Lesson 前，先理解它在反对什么
这篇文章中的 “bitter” 不是说计算或学习本身令人痛苦，而是说它的历史结论让研究者不太舒服：人很自然会相信，既然自己懂棋、懂语言、懂视觉，就应该把这些理解直接写进程序；但反复发生的结局是，一旦计算资源和数据/经验足够大，利用计算进行搜索、再从经验中学习的通用方法，往往会超过那些凝固了人类专家直觉的精巧系统。
这是一条关于长期趋势的归纳，不是一次严格定理。Sutton 强调的背景是：研究项目的寿命只有几年，而计算能力能以极长的时间尺度稳定增长。因此，一个短期内看似“更聪明”的、手工塞入先验知识的方案，未必能和一个可随计算预算一起扩张的方案竞争。
1.1 两个可扩展的想法：搜索与学习
文章实际上抓住两类相互补充的机制。
- 搜索（search）：当一个问题允许枚举、展开、模拟或评估大量候选行动时，用更多计算在更大的决策空间中寻找高价值行动。棋类中的树搜索是最直观的例子。
- 学习（learning）：从数据或交互经验中调整参数、表示或策略，使系统不必由人事先列出每条规则。深度学习、强化学习和自监督学习都属于这个大方向。
二者并不是竞争关系。以 AlphaGo/AlphaZero 为例，网络从经验中学习局面评估与行动先验，搜索又在每一步把额外计算投入到当前局面；学习解决“什么值得关注”，搜索解决“此刻该如何更仔细地思考”。在更一般的智能体中，模型学习、规划、记忆检索和测试时推理也可以视作类似的计算分配问题。
Sutton 的重点不是“搜索永远优于知识”，而是：应偏爱那些能把额外计算直接转换为更好表现的设计。一个方法若只能靠人工不断补规则来进步，通常很难随规模长期延展。
1.2 历史案例真正说明了什么
文章列举的脉络包括计算机棋类、语音识别、计算机视觉、自然语言处理、机器翻译等。在这些领域，早期研究常会投入大量劳动，把专家的局部知识、特征、规则、语法或策略编码进系统。这样的工作并非愚蠢：在数据小、硬件弱、任务定义狭窄的年代，它们常常有效，也帮助人理解了问题。
Sutton 归纳的反复剧情可以写成四步：先把人类知识嵌入系统；它在短期内确实奏效并令人满意；随着时间推移，这些特制结构会成为平台期或扩展的负担；最后，突破往往来自看似更“朴素”、却能用更多计算做搜索或从更多经验学习的方法。几组例子分别强调了不同部分：
| 领域 | 曾被看重的人类知识 | 随规模胜出的杠杆 | 原文要点 |
|---|---|---|---|
| 国际象棋 | 棋手式评估、棋类专门结构与启发式 | 大规模深度搜索与专用硬件 | 1997 年击败 Kasparov 的系统主要依赖搜索；此处不能倒写成“靠学习取胜” |
| 围棋 | 为了少搜索而设计的大量棋形/特征知识 | 更大规模搜索 + 自我对弈学习价值函数 | 转折比国际象棋晚约二十年，显示原先看似必要的特制知识会失去中心地位 |
| 语音识别 | 词、音素、声道等专家建模 | 更大计算下的统计方法；后来是巨量数据上的深度学习 | 这不是“不要数据”的故事，恰恰说明训练数据与计算共同改变了方法的竞争力 |
| 计算机视觉 | 边缘、广义圆柱、SIFT 等手工特征 | 大规模训练的深网络 | 现代视觉仍使用卷积和某些不变性；教训不是零归纳偏置，而是不把可扩展学习空间锁死 |
这张表也解释了为什么不能把文章读成“历史上所有人工知识都无用”：这些知识往往是当时最有效的暂时解，也有助于提出更好的可学习结构。Sutton 的质问是，研究者是否把太多心力放在了把发现写进系统，而不是做一个能继续发现未知结构的系统。
但当尺度变化时，胜出的体系通常把性能提升的主杠杆转移到了下面这些东西上：
\[\underbrace{\text{更多计算}}_{C} + \underbrace{\text{更多数据或交互}}_{D} + \underbrace{\text{可优化的通用模型/算法}}_{\mathcal{A}} \quad \Longrightarrow \quad \text{持续可改善的能力}.\]因此，苦涩之处在于：一项凝结了领域专家判断的特制设计，可能在短期内战胜朴素方法，却会在规模继续增大时被后者反超。更伤人的并不是“人类知识错了”，而是这类知识常常没有被放在一个可持续利用计算的形式里。
1.3 文章的核心不是反知识，而是反“把知识写死”
如果把 The Bitter Lesson 简化为“不要先验、不要结构、不要人类洞见”，会恰好落入它自己批评的二分法。任何实际学习系统都有归纳偏置：网络架构、优化器、数据管线、损失函数、记忆机制、动作空间和训练课程，都来自设计。问题从来不是“有没有人的知识”，而是下面两种投入的回报曲线不同：
| 设计方式 | 主要进步来源 | 常见风险 |
|---|---|---|
| 把任务知识直接写成特例规则 | 研究者继续补充规则、特征或启发式 | 覆盖范围窄，维护困难，难利用未来算力 |
| 用知识设计可学习、可搜索的机制 | 更多经验、计算和优化 | 需要大量资源，可能样本低效、难解释或不安全 |
好的归纳偏置不是要消失，而是应当成为一个可被规模化训练、检验和修正的脚手架。卷积的平移结构、Transformer 的注意力、动态规划的递推、世界模型的状态空间、强化学习的价值估计，都可以看作这种脚手架。它们不是为某一批样本手写答案，而是把学习与推理的空间组织得更可计算。
1.4 用一个棋类例子把差别说透
设我们希望程序在状态 $s$ 选择动作 $a$。传统专家系统会努力写出许多规则：王安全、兵形、空间、棋子活动、某种残局模式……最后形成手工评价函数
\[\widehat{V}_{\text{human}}(s) =\sum_{k=1}^{K} w_k\,\phi_k^{\text{human}}(s),\]其中 $\phi_k^{\text{human}}$ 是专家手工定义的特征。它会很快变得有效，却也把人的盲区一起固化进系统：没有被想到的模式几乎不会出现。
另一条路线让模型从大量局面或自我对弈中学习 $\widehat{V}_\theta(s)$ 与 $\pi_\theta(a\mid s)$，并在行动时使用搜索：
\[a_t \approx \arg\max_a\; \text{Search}\bigl(s_t,a;\pi_\theta,\widehat{V}_\theta, C_{\text{test}}\bigr).\]这里的参数 $\theta$ 可以随着训练计算 $C_{\text{train}}$ 增长而改善，搜索预算 $C_{\text{test}}$ 也可以在部署时增加。关键不在于后者“完全没有人类知识”，而在于它有两个明确的扩展旋钮；当预算增加，系统有办法把预算变成性能。
1.5 对研究者的操作性问题
一项工作是否符合这条“苦涩教训”，可以先问四个很具体的问题：
- 增加十倍训练计算、数据或交互时，它的性能预期如何变化？
- 人工规则增加时，是否只是局部修补，还是在扩大可学习/可搜索的空间？
- 方法能否跨任务复用，还是每换一个任务就要重新编码常识？
- 模型犯错时，能否通过更多经验、反馈或搜索自动修正，而非等待人手工加一条例外？
这并不贬低小数据、科学建模或因果结构。若数据昂贵、算力受限、错误代价极高，或者物理/安全约束明确，恰当的知识会大幅提高样本效率。The Bitter Lesson 要我们警惕的是另一件事：不要把短期资源约束下的权宜之计，误认成长期智能的必经结构。
2. Reward is Enough：从“能力清单”转向“长期目标”
如果说前一篇在问“怎样的学习系统值得下注”，那么 Reward is Enough 在问：“一个真正通用的主体，为什么需要感知、知识、语言、记忆、社会推理与泛化这些能力？”
这篇论文先挑战一种熟悉的研究组织方式：把智能拆成一串独立目标——视觉做分类或分割，语言做解析或情感判断，社会智能求均衡，模仿学习复制教师行为。这样的拆分在工程上有用，却容易遗漏一个问题：这些能力究竟为何会共同属于同一个主体？
论文给出的回答是功能性的：若主体处在复杂、部分可观测、会变化且包含其他主体的环境中，为了不断积累长期奖励，它就不得不学会利用这些能力。能力不是先验的任务清单，而可能是服务于目标的“工具变量”。
2.1 最小的 agent–environment 接口
论文采用标准强化学习的交互观点。在时刻 $t$，主体从历史中获得观察，选择行动，环境随后给出新观察与奖励：
\[H_t=(O_1,A_1,\ldots,O_{t-1},A_{t-1},O_t), \qquad A_t\sim\pi_\theta(\cdot\mid H_t),\] \[(O_{t+1},R_{t+1})\sim\mathcal{E}(\cdot\mid H_t,A_t).\]这里 $H_t$ 是交互历史，$\mathcal{E}$ 是环境，$R_t\in\mathbb{R}$ 是环境给出的标量奖励。一个典型目标是最大化累计回报：
\[J(\pi) = \mathbb{E}_\pi\left[\sum_{t=0}^{T-1}\gamma^t R_{t+1}\right], \qquad 0\le\gamma\le1.\]也可以使用有限时域总和或平均奖励；重点不在某个唯一公式，而在于奖励是每一步对“离目标近了还是远了”的标量反馈，而长期回报把当下行动和未来后果连接起来。
论文还采用一个容易被忽略、却很有用的划分：主体只指决策系统本身；身体、传感器、执行器、其他人、工具乃至奖励信号都属于环境。这个划分不是在否认身体的重要性，而是提醒我们：智能不是孤立地在参数里发生，它来自一个有输入、有行动后果、有反馈的闭环。
2.2 “奖励足够”究竟是哪一个命题
论文的中心假说可译为：智能及其相关能力，可以被理解为服务于一个在环境中行动的主体对奖励的最大化。 它至少包含三个层次，必须分开看。
- 表述层（representational claim）：大量目标能够被写成奖励或累计效用的优化。论文指出，奖励可以表达权衡、时间偏好、风险态度，也可以来自人的在线反馈、问卷、点赞或自然语言评价。
- 涌现层（emergence claim）：在复杂环境中，为了提高同一个长期目标，感知、记忆、规划、语言等能力可能会作为有用的中间能力出现，而无需为每项能力都指定一个独立终点。
- 算法层（algorithmic aspiration）：如果有足够强、能从持续交互经验中学习的强化学习主体，那么它可能是走向通用人工智能的一条路径。
第三层最强，也最未解决。原文明确承认：它没有提供强化学习主体的样本效率理论保证；能力出现得多快、出现到何种程度，取决于环境、算法和归纳偏置，而且人们可以构造使学习失败的人工环境。因此，这是一篇提出研究纲领的论文，不是“已证明 AGI”的论文。
论文要说的不是“把想要的行为直接编码进奖励，就完成了智能”；那种做法当然可以诱导特定行为。它主张的是更强也更有争议的一点：许多复杂能力会为实现一个更一般、长期的目标而隐式地变得有用。
2.3 为什么一个简单目标会逼出复杂能力：松鼠与厨房机器人
论文的直觉例子很朴素。若松鼠的长期目标与饥饿最小化或食物摄取有关，在真实环境中得到食物并不是“看见坚果就拿”这么简单：它要分辨物体、记住藏匿处、在枝叶与天气中运动、预估以后、应对竞争者。于是感知、知识、记忆、控制、规划和社会行为都可能成为同一个长期目标的工具。
同样，一个以“厨房清洁度”为回报的机器人，若环境足够真实，就得处理遮挡、反光、损坏的器皿、人与人的对话、儿童行为以及时间上的连锁后果。它可能要理解语言来预测脏乱如何发生，也要借助社会互动来改变他人的行为。这里的逻辑不是
\[\text{奖励} \Rightarrow \text{魔法般的全能智能},\]而是条件性的：
\[\text{复杂环境} +\text{长期、可区分的回报} +\text{足够强的学习与推理机制} \Rightarrow \text{许多能力具有提高回报的工具价值}.\]少了任何一项，结论都会变弱。一个只有单调轨道、稀疏终点奖励、短时训练的玩具环境，未必需要语言、常识或创造性；一个算法如果无法探索、无法保持可塑性、无法记住长程后果，再丰富的世界也不会自动教会它一切。
2.4 论文如何逐项重述“智能能力”
Reward is Enough 的价值之一，是它尝试为一组常被分开研究的能力重新给出共同解释。
| 能力 | 传统上常被单列为 | 论文的统一解释 |
|---|---|---|
| 知识与学习 | 存储事实、监督训练、任务专用模型 | 内部状态、参数或预测中保存的、能提升未来回报的信息；新环境要求持续获取它 |
| 感知 | 分类、检测、分割等标签任务 | 为了预测行动后果、寻找资源、避开风险而抽取与回报相关的信息 |
| 社会智能 | 博弈均衡、心智理论、社交规范 | 其他主体也是环境的一部分；理解、影响、合作或防范他们都可能改善自己的长期回报 |
| 语言 | 解析、词性、语义等子任务的集合 | 语言是影响其他主体并获得信息的序列行动；它有情境、代价和真实后果 |
| 泛化 | 从一个数据集/任务迁移到另一个 | 长期主体在同一连续世界中不断遇到新情形，若不把过去经验用于未来，就无法维持回报 |
| 模仿 | 行为克隆、教师示范 | 观察他人是环境信息；主体可选择何时、模仿什么、何时避免模仿，以更高效地获得回报 |
这张表不意味着每项工程任务都应放弃专门训练。它给的是一个“为什么”层面的统一语言：当一个能力能稳定改善长期后果时，通用主体就有动力获得它。
2.5 与语言模型的关系：相近，但不能偷换
这篇论文在语言一节已经注意到一个重要事实：大规模语言建模以单一预测目标推进了许多过去分散的 NLP 子任务。这个事实与 The Bitter Lesson 的精神高度一致——一个可扩展目标加上大量计算与数据，替代了为每个语言子任务手工搭管线。
但论文也明确指出，只做静态语料上的语言预测，不必然给出语言全部的智能含义。真实语言是多模态、具身、与行动交织、会改变其他主体行为、并且带机会成本的。一个销售者的话会影响销售，一个谈判者的话会影响对方的状态；这些后果不在单纯的下一个 token 概率里。
因此，可以把当今 LLM 放在这两篇文章之间理解：
- 它们很好地展示了“随规模增长的通用学习目标”具有威力，这非常符合 The Bitter Lesson。
- 预训练损失是一个标量优化信号，却不是论文所说的、让主体在长期真实环境中行动并接收后果的完整奖励闭环。
- 偏好优化、RLHF、工具调用、搜索、记忆和在线交互，让系统向该闭环靠近；但它们仍远不足以证明“奖励足够”已被实现或验证。
换言之，下一个 token 预测的成功是对这套纲领的有力启发，不是对最强版本假说的逻辑证明。
3. 两篇文章怎样严丝合缝地连在一起
可以把两篇文章看成对同一研究取向的“外部选择”和“内部组织”。
3.1 外部选择：把人力投向能随规模成长的机制
The Bitter Lesson 给出的选择准则是：如果未来计算和经验会越来越多，研究应偏好能吸收它们的方法。搜索与学习之所以重要，不是因为名字好听，而是因为它们把新增资源转化为新的候选、改进的预测、修正的策略和更长的推理。
3.2 内部组织：让同一个长期目标协调诸多子能力
Reward is Enough 进一步解释：即便主体最终表现出很多能力，也未必需要为每个能力预先指定一个互不相干的总目标。只要环境真的要求它们，长期回报就能把感知、记忆、语言、计划和社会互动组织成互相配合的手段。
二者合并后的研究愿景是：
\[\begin{aligned} &\text{用可随 } C,D \text{ 扩展的学习/搜索系统，}\\ &\text{在持续、丰富、可行动的环境 } \mathcal{E} \text{ 中，}\\ &\text{优化长期目标 } J \quad\Longrightarrow\quad \text{逐步获得并整合有用能力。} \end{aligned}\]这比“做一个视觉模块 + 一个语言模块 + 一个规划模块”更统一，但也更难。模块化工程把难题拆给人；这个愿景要求同一个系统自己在长程交互中发现如何分工、何时调用什么表征、怎样处理陌生情况。
3.3 二者不能互相推出
仍要把逻辑边界画清楚：
- 即使你同意 The Bitter Lesson，也只是在方法论上偏爱可扩展学习与搜索；这不自动推出某个单一奖励就是所有智能的充分解释。
- 即使你同意 Reward is Enough 的功能性设想，也不能跳过算法问题：奖励最大化可以用极其脆弱、样本低效或不可控的方式实现。
- 搜索和学习是实现手段；奖励是目标接口。二者处于不同抽象层级。把“reward”与“RL 算法”、把“search”与“brute force”画等号，都会失真。
4. 最重要的反驳与边界：哪里还没有被解决
把这两篇文章当作研究指南，最有价值的读法不是照单全收，而是知道它们把难题推到了哪里。
4.1 标量奖励能否表达所有重要价值？
论文认为奖励可表达广泛的权衡、时间偏好与风险偏好，但“可表示”不等于“容易、准确、安全地表示”。人类偏好常常是多目标、情境依赖、随时间变化、带不可逾越约束的。例如“不伤害人”不一定愿意与“多赚一点收益”进行固定线性权衡。
Vamplew 等人在 Scalar reward is not enough 中正面反驳了这一点：他们认为把所有目标压成单一标量会遗漏多目标结构，并可能导致不可接受的安全与伦理风险。无论是否接受这篇反驳，它都提醒我们，奖励设计不是给系统写一句口号，而是一个价值建模、约束建模与反馈治理的问题。
4.2 优化目标不等于获得想要的行为
即使目标函数写得看似正确，强优化也可能找到投机路径：钻奖励漏洞、改变评分器、利用模拟器缺陷、用短期收益牺牲长期目标。这通常被归在 specification gaming、Goodhart 效应或 reward hacking 一类问题下。
从控制角度看，问题在于我们真正关心的潜在效用 $U$ 与训练中可观察的代理奖励 $R$ 并不完全相同：
\[R \approx U \quad\not\Rightarrow\quad \arg\max_\pi \mathbb{E}[R]\;\approx\;\arg\max_\pi \mathbb{E}[U].\]当优化很弱时，两者的小偏差可能不显眼；当搜索或学习变强时，偏差反而更可能被系统性放大。这一点并不否定“奖励是目标接口”，却说明接口必须配合约束、监督、审计、稳健性评估与可纠正性设计。
4.3 经验从哪里来，代价由谁承担？
“从试错中学习”在游戏里很自然，在机器人、医疗、金融或社会系统里则可能昂贵甚至不可接受。Reward is Enough 的雄心依赖丰富且长期的交互，而真实世界的安全探索、因果干预、长程信用分配和分布漂移都很困难。
这也是为什么模型学习、离线数据、模拟器、示范、课程学习、世界模型、记忆和工具使用并非背离 Sutton 的路线；它们可以被理解为降低获得有效经验成本、扩大可搜索空间、或让长期学习更可行的机制。真正需要检验的是：这些机制是否仍保留了从更多计算与经验中持续改善的能力。
4.4 规模规律不是自然定律
扩大训练并不会自动带来可靠泛化。数据质量、评价指标、能源与硬件、优化稳定性、可塑性损失、分布外情形、社会部署环境都会改变曲线。The Bitter Lesson 提醒我们不要过早把人为边界写进系统；它并没有免除研究者做严谨实验、报告失败模式或比较资源成本的义务。
5. 对今天做 RL、LLM 与 agent 的具体启示
若把两篇文章压缩成实践原则，我会保留下面五条。
- 优先构造可扩展的改进闭环。 不只报告某个精巧 prompt 或规则在一个基准上的增益，也问它能否通过更多训练、更多交互、更多测试时计算或更好反馈稳定变强。
- 把领域知识放在“学习如何使用它”的位置。 结构、工具、记忆、检索、模拟器和安全规则依然重要；更好的问题是，它们能否被统一的学习/搜索过程调用、校正和泛化，而不是只服务一组手工情形。
- 把奖励与环境一起设计。 没有能让行为后果显现的环境，再漂亮的奖励也难以驱动深层能力；没有区分好坏的反馈，再丰富的环境也难学习。
- 不要把对齐当作训练后的一层贴纸。 当奖励是组织行为的中心接口，目标错配、反馈污染、奖励投机和权限边界就必须从任务定义开始处理。
- 区分能力证据与哲学口号。 一个系统在 benchmark 上提升，说明的是特定分布、算力和评价下的表现；它不是“奖励足够”或“通用智能已出现”的自动证据。应当继续测量泛化、长期适应、交互鲁棒性、样本效率与安全性。
对本博客已有内容而言，若想补足强化学习的数学基础，可以先看 Policy Gradient Details 与 RL Toolbox；若关心语言模型与强化学习在当下工程中的连接，可接着看 LLM RL Algorithms 和 LLM Architecture。此前记录的 Sutton 讲座片段 也能作为理解他更广泛观点的一个侧面。
结语：把“苦涩”读成研究纪律
The Bitter Lesson 的警告是：不要因为我们今天最擅长解释什么，就误把它当成未来最该手工编码的东西。Reward is Enough 的邀请是：不要因为智能表面上有太多名字，就放弃寻找能把这些能力统一为长期行动后果的目标框架。
它们共同指向的并不是“少思考”，而是更严格地思考：人应该把聪明才智用在什么地方？一个好的答案不是替系统预写世界的一切细节，而是设计能在世界中学习、搜索、接受纠错并随资源增长而改善的闭环。至于这个闭环能否真正安全、样本高效、具有我们在意的价值——那正是这两篇经典作品留给今天研究者、而非替我们完成的问题。
Resources
- Richard S. Sutton. The Bitter Lesson. Incomplete Ideas, 2019-03-13. （博客短文，非同行评审论文。）
- David Silver, Satinder Singh, Doina Precup, and Richard S. Sutton. Reward is enough. Artificial Intelligence, 299:103535, 2021. Open-access PDF.
- Peter Vamplew et al. Scalar reward is not enough: A response to Silver, Singh, Precup and Sutton (2021). Autonomous Agents and Multi-Agent Systems, 2022. （关于标量奖励与安全边界的重要反驳。）