跳转到主要内容
第 9 章的 GRPO 训练提高了通过率，但探索也在减少：80 步内，策略 token 的熵从 0.57 nats 降到 0.08 nats；训练末期，每五组就有四组的奖励完全相同，不再提供组内差异信号。在这个 gym 上，低熵伴随着任务完成；换到更复杂的代码任务，就需要检查策略是否过早停止探索。另一项风险是过度追逐奖励，导致语言质量或未被奖励衡量的能力下降。本章讨论如何约束这种变化。 我们比较两种常用的正则化手段。KL 惩罚把策略拉向一个冻结的参考策略（reference policy），通常是初始检查点。熵奖励（entropy bonus）把策略推离确定性。两者实现起来都不长，但放置位置、估计方式和 stop-gradient 会改变训练器（trainer）实际计算的梯度：三种常用的 KL 估计量（estimator）用作损失时会产生三种不同的梯度，其中一种期望为零，另一种是另一个散度的梯度；对序列而言，把 KL 放进奖励和放进损失是不同的；而在整个词表（vocabulary）上的熵奖励会把概率推到策略永远不该输出的 token 上。 我们逐一推导这些事实，在小到可以穷举的分布上做数值检验，然后在 TinyAgent 上比较各种正则化手段：不加正则、不同强度和放置位置的 KL 惩罚、熵奖励，以及更高的温度，以熵、留出（held-out）通过率和 pass@kk 衡量；clip-higher 另做一个单批次实验。本章保存两个函数 kl_estimate 和 entropy_bonus，以及使用它们的更新、训练循环和序列 KL 辅助函数。
TinyAgent 实验使用第 9 章确定的本书默认设置：匿名化的一次编辑 gym、RL 基座智能体（base agent），以及训练集和留出集划分。

​
10.1 参考策略

参考策略 πref\pi_{\text{ref}} 是一个固定的策略，实践中是 RL 开始时模型的一份冻结副本（SFT 或基座检查点）。KL 正则化的目标是 Jβ(θ)=Eτ∼πθ[R(τ)]−β KL(πθ ∥ πref),J_\beta(\theta) = \mathbb{E}_{\tau \sim \pi_\theta}\big[R(\tau)\big] - \beta\, \mathrm{KL}\big(\pi_\theta \,\|\, \pi_{\text{ref}}\big), 其中序列 KL 沿策略自身的前缀分解为逐 token 的项（附录 A.6）。文献中反复出现三个使用它的理由，而它们是不同的理由。第一，在 RLHF 中奖励是一个学出来的模型，只在其训练数据附近准确；KL 把策略留在奖励可信的区域。第二，参考策略携带着奖励不衡量的能力（流畅性、格式、知识），KL 限制了策略可以拿多少这类能力去交换。第三，KL 是一种累积的信赖域（trust region）：PPO 的裁剪（第 8 章）限制一次更新离 πold\pi_{\text{old}} 多远，而 KL 限制整个运行离 πref\pi_{\text{ref}} 多远。对于隐藏测试这类可验证奖励，第一个理由不复存在，这正是主张去掉 KL 的核心论据（10.7 节）。 正则化的目标想要什么？对于单次决策（老虎机（bandit）），答案有闭式解。记 π\pi 为 KK 个动作上的分布，奖励为 r(a)r(a)。则 Eπ[r]−β KL(π ∥ πref)=−β∑aπ(a)log⁡π(a)πref(a) er(a)/β=βlog⁡Z−β KL(π ∥ π∗),\mathbb{E}_\pi[r] - \beta\,\mathrm{KL}(\pi \,\|\, \pi_{\text{ref}}) = -\beta \sum_a \pi(a) \log \frac{\pi(a)}{\pi_{\text{ref}}(a)\, e^{r(a)/\beta}} = \beta \log Z - \beta\, \mathrm{KL}(\pi \,\|\, \pi^*), 其中 π∗(a)=πref(a) er(a)/β/Z\pi^*(a) = \pi_{\text{ref}}(a)\, e^{r(a)/\beta} / Z，Z=∑aπref(a) er(a)/βZ = \sum_a \pi_{\text{ref}}(a)\, e^{r(a)/\beta}。由于 KL 非负，且仅在 π=π∗\pi = \pi^* 时为零，最优解是 π∗\pi^*，最优值为 βlog⁡Z\beta \log Z。最优解用指数化的奖励对参考策略做倾斜：β\beta 是一个温度，在 πref\pi_{\text{ref}}（β→∞\beta \to \infty）与参考策略支撑集内的最优动作（β→0\beta \to 0）之间插值。参考策略从不采取的动作，对任何 β\beta 概率都保持为零。在 πref\pi_{\text{ref}} 为均匀分布时做同样的推导，就得到熵奖励，因为 KL(π ∥ Uniform)=log⁡K−H(π)\mathrm{KL}(\pi \,\|\, \mathrm{Uniform}) = \log K - H(\pi)：最大化 E[r]+αH(π)\mathbb{E}[r] + \alpha H(\pi) 等价于对均匀分布施加 KL 惩罚，最优解为 softmax(r/α)\mathrm{softmax}(r/\alpha)。第 15 章用同一个闭式解推导 DPO。
下面的老虎机有五个动作。动作 4 奖励最高，但参考策略从不采取它；动作 0 和 1 都不错，而参考策略偏好较弱的那个。
Output:
在 β=10\beta = 10 时，最优解与参考策略很接近，KL 为 0.001。随着 β\beta 减小，概率质量先移向参考策略本就偏好的动作 1，再移向动作 0，即参考策略很少采取的更好动作；在 β=0.01\beta = 0.01 时，策略几乎总选动作 0，期望奖励为 1.0，熵在显示精度下为 0。KL 饱和于 log⁡(1/0.05)=2.996\log(1/0.05) = 2.996，这是把全部概率放在一个参考策略仅以 5% 概率选择的动作上所付出的代价。奖励为 1.2 的动作 4 始终得不到任何概率。α=0.3\alpha = 0.3 的熵奖励表现不同：它隐含的参考分布是均匀的，因此它给动作 4 分配了 0.59 的概率，期望奖励达到 1.065，高于任何 KL 设置。在语言模型中，“参考策略支撑集之外的动作”大多是垃圾 token，均匀参考分布对它们一视同仁，正是熵奖励的主要隐患（10.6 节）。我们用 π∗\pi^* 的随机扰动来检验这个闭式解：
Output:
π∗\pi^* 处的值等于 βlog⁡Z\beta \log Z，没有任何扰动能做得更好，正如上面的恒等式所要求的。

​
10.2 从样本估计 KL

训练器从来看不到序列上的完整分布。它看到的是采样得到的 token y∼πθ(⋅∣c)y \sim \pi_\theta(\cdot \mid c)，以及每个 token 的两个数：log⁡πθ(y∣c)\log \pi_\theta(y \mid c) 和 log⁡πref(y∣c)\log \pi_{\text{ref}}(y \mid c)。把它们的差记为 ℓ=log⁡πref(y∣c)−log⁡πθ(y∣c)\ell = \log \pi_{\text{ref}}(y \mid c) - \log \pi_\theta(y \mid c)。John Schulman 的笔记 Approximating KL Divergence（2020）比较了 KL(πθ ∥ πref)\mathrm{KL}(\pi_\theta \,\|\, \pi_{\text{ref}}) 的三种单样本估计量： k1=−ℓ,k2=12ℓ2,k3=eℓ−1−ℓ.k_1 = -\ell, \qquad k_2 = \tfrac{1}{2}\ell^2, \qquad k_3 = e^{\ell} - 1 - \ell . k1k_1 按定义无偏，在许多样本上取负值。k3k_3 加上了 eℓ−1e^\ell - 1，由于 Eπθ[πref/πθ]=1\mathbb{E}_{\pi_\theta}[\pi_{\text{ref}}/\pi_\theta] = 1，这一项在 πθ\pi_\theta 下均值为零；它就是加了控制变量（control variate）的 k1k_1（附录 A.3），无偏，并且由于 eℓ≥1+ℓe^\ell \ge 1 + \ell 而永不为负。k2k_2 有偏：泰勒展开表明它在 ℓ\ell 的二阶上与 KL 一致，更高阶则高估。第 9 章把这三者都保存为 kl_penalty。附录 A.7 在两个距离上对它们做了采样；这里我们穷举一个 50 类分布的每个结果，在策略与参考策略之间的四个距离上精确计算它们的均值和单样本标准差。
Output:
均值是精确计算的，所以 k1k_1 和 k3k_3 在每个距离上的比值都是 1.000，而 k2k_2 的偏差随距离增大：KL 为 0.001 时为 1%，KL 为 0.32 时为 41%，KL 为 1.08 时达到 2 倍。离散程度说明了另一半。在 KL 为 0.001 时（相邻检查点之间逐 token KL 的典型量级），单个 k1k_1 样本的标准差是被估计量的 45 倍，k3k_3 则是 1.25 倍：把 k1k_1 平均到同样的精度，大约需要 (44.84/1.25)2≈1300(44.84/1.25)^2 \approx 1300 倍的 token。原因是 k1k_1 是 ℓ\ell 的一阶量，其离散程度与 ∣ℓ∣|\ell| 成比例，而 KL 本身是二阶量。随着两个分布分离，k3k_3 的优势缩小，在 KL 为 1.08 时它的离散程度与 k1k_1 相当。若要记录 KL，k3k_3 是正确的默认选择：无偏、非负，并且在训练所处的范围内方差小。把估计量用作损失则是另一个问题。

​
10.3 各估计量用作损失时产生的梯度

损失中的 KL 项是这样实现的：在批次中采样得到的 token 上计算估计量，把 β\beta 乘以其均值加到损失上。自动求导随后通过 log⁡πθ(y∣c)\log \pi_\theta(y \mid c) 对估计量求导，采样到的 token 保持固定。它不会对“这些 token 是从 πθ\pi_\theta 采样而来”这一事实求导。因此这种损失的期望梯度是 Ey∼πθ[∇θk(y)]\mathbb{E}_{y \sim \pi_\theta}[\nabla_\theta k(y)]，而不是 ∇θEy∼πθ[k(y)]\nabla_\theta \mathbb{E}_{y\sim\pi_\theta}[k(y)]：缺少了 第 6 章的得分函数（score function）项 E[k(y) ∇θlog⁡πθ(y)]\mathbb{E}[k(y)\, \nabla_\theta \log \pi_\theta(y)]。 利用 ∇ℓ=−∇log⁡πθ(y)\nabla \ell = -\nabla \log \pi_\theta(y) 和 Eπθ[∇log⁡πθ]=0\mathbb{E}_{\pi_\theta}[\nabla \log \pi_\theta] = 0 逐一计算。对 k1=−ℓk_1 = -\ell，单样本梯度是 ∇log⁡πθ(y)\nabla \log \pi_\theta(y)，其期望为零：k1k_1 损失只贡献噪声。对 k2=ℓ2/2k_2 = \ell^2/2，单样本梯度是 −ℓ ∇log⁡πθ(y)=(log⁡πθ(y)−log⁡πref(y))∇log⁡πθ(y)-\ell\, \nabla \log\pi_\theta(y) = \big(\log\pi_\theta(y) - \log\pi_{\text{ref}}(y)\big)\nabla\log\pi_\theta(y)，其期望正是反向 KL（reverse KL）的真实梯度： ∇θKL(πθ ∥ πref)=∑y∇πθ(y)(log⁡πθ(y)−log⁡πref(y))+∑yπθ(y) ∇log⁡πθ(y)=Eπθ[(log⁡πθ−log⁡πref) ∇log⁡πθ].\nabla_\theta \mathrm{KL}(\pi_\theta \,\|\, \pi_{\text{ref}}) = \sum_y \nabla \pi_\theta(y) \big(\log \pi_\theta(y) - \log \pi_{\text{ref}}(y)\big) + \sum_y \pi_\theta(y)\, \nabla \log \pi_\theta(y) = \mathbb{E}_{\pi_\theta}\big[(\log \pi_\theta - \log \pi_{\text{ref}})\, \nabla \log \pi_\theta\big]. 有偏的估计量给出了无偏的梯度。对 k3=eℓ−1−ℓk_3 = e^\ell - 1 - \ell，单样本梯度是 (1−eℓ)∇log⁡πθ(y)(1 - e^{\ell})\nabla\log\pi_\theta(y)，且 Eπθ[(1−πrefπθ)∇log⁡πθ]=0−∑yπref(y) ∇log⁡πθ(y)=∇θ KL(πref ∥ πθ).\mathbb{E}_{\pi_\theta}\big[(1 - \tfrac{\pi_{\text{ref}}}{\pi_\theta})\nabla \log \pi_\theta\big] = 0 - \sum_y \pi_{\text{ref}}(y)\, \nabla \log \pi_\theta(y) = \nabla_\theta\, \mathrm{KL}(\pi_{\text{ref}} \,\|\, \pi_\theta). 无偏、低方差的估计量给出的却是前向 KL（forward KL）的梯度，即另一个方向。在 πθ=πref\pi_\theta = \pi_{\text{ref}} 附近，两个方向在二阶上一致，因此它们的梯度在一阶上一致，差异随距离增大。我们用每个结果的（detach 后的）采样概率对它加权来精确检验这一切，这就是大批量样本会趋近的期望。
保存的函数是第 9 章 kl_penalty 之上的简单封装，取值时直接调用它。它只增加了一点：以 + 结尾的类型使用直通（straight-through）构造 g - g.detach() + v.detach()，其前向值是估计量 vv（因此记录的数字是比如 k3k_3），而梯度是 g=k2g = k_2 的梯度（因此损失沿反向 KL 的梯度方向推动）。verl 用同样的 + 后缀实现了同一选项（core_algos.kl_penalty，commit 00094bd，2026-10-13 查阅），并附有注释说明 k1k_1 和 k3k_3 的期望值正确，但期望梯度不正确。
Output:
每一行都是用数字表达的推导。k1k_1 的期望梯度为零，所以它相对任一目标的相对误差都恰好是 1。k2k_2 的梯度在打印的每一位上都与反向 KL 梯度一致，k3k_3 的梯度与前向 KL 梯度一致，而与反向 KL 梯度相差 50%。直通的 k3+ 恰好具有 k2k_2 的梯度。在训练实际达到的距离上，k3k_3 的误差有多大？
Output:
在逐 token KL 为 0.002 时，k3k_3 损失与反向 KL 梯度相差在 3.4% 以内；在 0.06 时偏差为 17%。第 9 章的 GRPO 预设相对其参考策略的逐 token k3k_3 平均为 0.17，介于第二行和第三行之间，该表给出的误差为 17% 到 34%。在这个范围内，用 k3k_3 损失实现的“反向 KL 惩罚”（如 DeepSeekMath 的 GRPO 和 verl 的默认 low_var_kl）更接近前向 KL 惩罚。10.5 节说明方向为什么重要，10.7 节在 TinyAgent 上测量这一差别。 图 10.1：策略远离参考策略时的各 KL 估计量，在一个 50 类分布上精确计算。左：各估计量取值的相对偏差。中：单样本标准差与真实 KL 之比（对数坐标）。右：各估计量期望损失梯度相对真实反向 KL 梯度的相对误差。 图 10.1 在真实 KL 跨越两个数量级的范围内并列展示了这三种性质。从左到右把三个面板当作三个不同的问题来读。记录的值对吗？k1k_1 和 k3k_3 对。单个样本有信息量吗？k2k_2 和 k3k_3 有，在 KL 较小时要好一个数量级。损失推动的方向对吗？只有 k2k_2（因而还有 k3+）在任何距离上都对。没有哪个估计量能同时赢下三项，这正是直通组合存在的原因。
陷阱。 在 PPO 式的更新中，第一个小批次之后，批次中的行来自 πold\pi_{\text{old}}，而不是当前的 πθ\pi_\theta。上面的推导假设样本是 on-policy 的。在第 9 章默认设置的小比率下（裁剪比例约 0.1%），这只是一个较小的额外偏差；在多轮次（epoch）训练中，这是 KL 项的梯度只是近似等于其名称所指的又一个原因。

​
10.4 KL 放在奖励中与放在损失中

惩罚有两个可以放置的位置。KL 放在奖励中：从奖励中减去 β\beta 乘以逐 token 的 k1k_1（对数比率），交给策略梯度（policy gradient）处理，RLHF 风格的 PPO 就是这样做的。KL 放在损失中：把 β\beta 乘以逐 token 估计量加到损失上，GRPO 就是这样做的。对单个 token 而言，奖励版本就是以 −k1-k_1 为奖励的 REINFORCE，其梯度为 −E[k1∇log⁡πθ]-\mathbb{E}[k_1 \nabla\log\pi_\theta] ；这恰好是上面推导出的负反向 KL 梯度，因此对单个 token 而言，“把 k1k_1 放在奖励中”与“把 k2k_2 放在损失中”是一致的。 对序列则不然。由附录 A.6，序列 KL 为 E[∑tKLt(ct)]\mathbb{E}\big[\sum_t \mathrm{KL}_t(c_t)\big]，其中 KLt(ct)\mathrm{KL}_t(c_t) 是前缀 ctc_t 处的逐 token KL。它的梯度有两部分：在前缀固定时每个 KLt\mathrm{KL}_t 如何随参数变化，以及 token yty_t 的选择如何改变后续访问到哪些前缀，从而改变未来的哪些 KL。逐 token 的损失只捕捉了第一部分，因为每个 token 的损失项只是该 token 自身对数概率的函数。基于奖励的策略梯度两部分都捕捉到了，因为每个 token 的对数概率都被它之后所有内容的 KL 加权（即 6.5 节的剩余回报（reward-to-go））。差别在于对未来偏离的回报归因（credit assignment）：一个把回合引向策略与参考策略分歧区域的 token，会被奖励版本惩罚，却不会被损失版本惩罚。 我们在一个词表大小为 4 的两 token 序列模型上检验这一点，它小到可以穷举全部 16 个序列：第一个 token 有自己的 logits，第二个 token 的 logits 取决于第一个。
surrogate 为每种放置方式构建自动求导会看到的期望损失。对损失放置，每个序列在两个 token 上都贡献估计量。对奖励放置，每个 token 的对数概率乘以从该 token 到结尾的 k1k_1 之和（已 detach）。
Output:
奖励放置对两个 token 都复现了序列 KL 的精确梯度。k2k_2 损失对第二个 token（最后一个，没有未来）是精确的，而对第一个 token 错了 68%，因为它忽略了第一个 token 对第二个 token 的 KL 的影响。k3k_3 在两个 token 上都不对，k1k_1 在两个 token 上都为零。逐 token 的 k2k_2 损失是另一个目标的精确梯度：前缀分布保持固定时的 ∑tKLt\sum_t \mathrm{KL}_t。 哪种放置更好是设计问题，而不是正确性问题。奖励放置惩罚的是正确的量，但它进入优势（advantage），因而继承了策略梯度的方差；在 GRPO 的组归一化下，它还会按每组奖励的离散程度重新缩放，所以它的强度因任务而异。损失放置是一个低方差的局部正则项，让每个 token 的分布都保持在参考策略附近，而不考虑回合走向何处。verl 两者都提供：algorithm.use_kl_in_reward，默认用 k1k_1 惩罚，可选自适应控制器；以及 actor.use_kl_loss，配合 kl_loss_type: low_var_kl（k3k_3，截断到 [−10,10][-10, 10]），默认系数 0.001（commit 00094bd，2026-10-13 查阅）。对智能体而言，未来偏离项比单轮任务更重要，因为早期一次调用的 token 决定了回合会到达哪些观测，进而到达哪些后续上下文。

​
10.5 前向 KL 与反向 KL

反向 KL KL(πθ ∥ πref)=Eπθ[log⁡πθ−log⁡πref]\mathrm{KL}(\pi_\theta \,\|\, \pi_{\text{ref}}) = \mathbb{E}_{\pi_\theta}[\log \pi_\theta - \log \pi_{\text{ref}}] 按当前策略取期望：策略若给参考策略概率极低的位置分配较多概率，就会受到较大惩罚；参考策略有、但当前策略忽略的区域则不会直接贡献这一项。前向 KL KL(πref ∥ πθ)\mathrm{KL}(\pi_{\text{ref}} \,\|\, \pi_\theta) 按参考策略取期望：参考策略重视的区域若被当前策略漏掉，惩罚就会很大。前者常称为 mode-seeking，倾向于集中在某个高概率模式；后者常称为 mass-covering，倾向于覆盖参考分布的各个模式。最大似然和 SFT 最小化相对数据的前向 KL；第 16 章的 on-policy 蒸馏（on-policy distillation）最小化相对教师的反向 KL。当一个简单的分布族必须逼近它无法表示的分布时，差别最为明显。我们用梯度下降分别在两个方向上，把一个离散化的高斯分布拟合到两个高斯的混合分布上。
Output:
前向拟合把中心放在两个峰之间，标准差为 2.84，质量在两侧平分，并把 30% 的质量放在谷中，而目标分布在那里只有 0.8%。反向拟合恰好落在右侧的峰上（均值 2.50，标准差 0.60），左侧什么也不放，KL 达到 0.693，即 log⁡2\log 2：完美覆盖两个等大峰之一的代价。它选择哪个峰取决于初始化（我们从 1.0 开始，在中心右侧）。 图 10.2：在 121 点网格上，用单个高斯分布拟合双峰目标。前向 KL 拟合铺展到两个峰和中间的谷；反向 KL 拟合锁定在一个峰上。 图 10.2 在目标分布上画出了两种拟合。对 RL 而言，后果是直接的。对 πref\pi_{\text{ref}} 的反向 KL 惩罚不会直接惩罚当前策略未覆盖的区域，因此可能放弃参考策略的某些峰（初始模型有时采用的解法），不能单凭这一项保证多样性；同时它禁止给参考策略概率为零的位置分配概率，正如老虎机中的动作 4 所示。前向 KL 的拉力（也就是 k3k_3 损失在中等距离上实际实现的东西，见 10.3 节）会惩罚放弃参考策略的峰，因而更像一个保持多样性的正则项。这是估计量梯度的副作用，而不是任何人写下的设计选择，值得弄清楚一个配置实际计算的是哪一个。

​
10.6 熵坍缩及其对策

熵坍缩（entropy collapse）是指 RL 过程中策略的逐 token 熵持续下降，趋向一个每次都采样同样 token 的策略。它不是某个组件的 bug：当 softmax 策略的高概率选择得到奖励时，策略梯度就会对它这样做。机制可以用一行写出。对 KK 个 token 上的 logits zz，记 π=softmax(z)\pi = \mathrm{softmax}(z)，H=−∑jπjlog⁡πjH = -\sum_j \pi_j \log \pi_j，求导得 ∂H/∂zj=−πj(log⁡πj+H)\partial H / \partial z_j = -\pi_j(\log \pi_j + H)，因此 logits 的一个小变化 Δz\Delta z 使熵变化 ΔH≈−∑jπj (log⁡πj+H) Δzj=−Covj∼π(log⁡πj, Δzj),\Delta H \approx -\sum_j \pi_j\, (\log \pi_j + H)\, \Delta z_j = -\mathrm{Cov}_{j \sim \pi}\big(\log \pi_j,\ \Delta z_j\big), 这里用到了 Eπ[log⁡π]=−H\mathbb{E}_\pi[\log \pi] = -H。当更新提高已经很可能的 token 的 logits 时，熵下降；当它提高不太可能的 token 的 logits 时，熵上升。Cui et al. 的 The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models（2025-05-28）对策略梯度和自然梯度更新推导了这一协方差形式，并报告在不加干预时，熵与验证集性能沿一条拟合曲线此消彼长。在优势为 AA 的采样 token aa 上做一步策略梯度，logits 的变化为 Δz=ηA(ea−π)\Delta z = \eta A (e_a - \pi)。四种情况涵盖了所有可能。
Output:
一阶预测在每种情况下都与实际变化相差不到 1%，符号也符合协方差的规律。奖励高概率 token（概率 0.647）会降低熵；奖励稀有 token（概率 0.0044）会提高熵；惩罚其中任何一个则相反。现在考虑训练后期的一个 GRPO 批次。在一个组内，成功的尝试大多由策略的高概率 token 组成，所以大多数正优势更新属于第一种情况。失败的尝试则由各种 token 混合而成，而惩罚稀有 token（第四行）同样会降低熵。只要策略对的时候多于错的时候，四种情况中就有三种在降低熵，这种更新机制可以解释 on-policy RL 中常见的熵下降，但具体是否坍缩，仍取决于奖励、采样和优化设置。 各种对策以不同方式作用于这个协方差。
  • 熵奖励在损失中加入 −αH-\alpha H，它对每个 token 的 logits 的梯度为 α πj(log⁡πj+H)\alpha\,\pi_j(\log\pi_j + H)：它提高每个对数概率低于 −H-H 的 token，降低高概率的 token。在 316 个词的词表上（Qwen3 则是 151k 个 token），“每个不太可能的 token”大多是策略永远不该输出的 token。10.1 节用闭式解说明了同一件事：熵奖励就是朝均匀分布的 KL 惩罚。
  • KL 惩罚把每个 token 的分布拉向参考策略的分布，后者具有参考策略的熵。它只能在参考策略本身不确定的范围内抵抗坍缩；而且作为反向 KL，它不惩罚丢弃参考策略原有的备选（10.5 节）。
  • Clip-higher（DAPO）提高 ϵhigh\epsilon_{\text{high}}。当 A>0A > 0 时，一旦 πθ(a)>(1+ϵhigh) πold(a)\pi_\theta(a) > (1 + \epsilon_{\text{high}})\,\pi_{\text{old}}(a)，PPO 的裁剪就会去掉该 token 的梯度，因此一个 token 在裁剪生效之前能获得的绝对增量是 ϵhigh πold(a)\epsilon_{\text{high}}\,\pi_{\text{old}}(a)：概率为 0.9 的 token 是 0.18，概率为 0.01 的 token 是 0.002。所以上裁剪界作用于具有正优势的稀有 token，而这些恰好是上表中提高熵的更新。DAPO 给出的理由相同：“不太可能的‘探索’ token 的概率被限制得太紧，无法被提升”（“the probability of an unlikely ‘exploration’ token is too tightly bounded to be uplifted”），并把 ϵhigh\epsilon_{\text{high}} 从 0.2 提高到 0.28。只有裁剪生效时这个手段才起作用，这要求策略在一个批次内发生移动（多个小批次或多个轮次）。
  • 采样温度 TT 从 softmax(z/T)\mathrm{softmax}(z/T) 中采样。由于训练器在同一个 TT 下计算对数概率（第 9 章的 rl_update 把 logits 除以 cfg.temperature），被优化的策略就是加温后的策略，网络可以把 zz 变得更尖锐，从而抵消任何固定的 TT。更高的温度只能推迟坍缩，而不能阻止它；ProRL 报告，在提高 rollout 温度后，“熵仍随训练推进而稳定下降”（“entropy continues to decline steadily as training progresses”）。在比训练更低的温度下评估则是另一个需要专门做出的选择（第 17 章）。
train_rl 没有添加额外损失项的钩子，而第 9 章的函数又不能修改。因此我们保存 entropy_bonus，以及第 9 章更新和循环的正则化版本，它们由同样的已保存组件（sample_step、behavior_stats、compute_advantages、policy_loss）构建。entropy_bonus 是策略位置上全词表熵的掩码均值；与 KL 估计量不同，它在每个访问到的前缀处是精确值，而不是单样本估计，因为整个词表的 logits 已经算好了。
regularized_update 就是第 9 章的 rl_update，有两处不同：损失减去 entropy_coef 乘以熵奖励，KL 项使用 kl_estimate，因此 cfg.kl_kind 可以是 'k3+'。记录的 entropy 是每个小批次中熵奖励在更新步之前的值。
train_regularized 是去掉周期性评估的 train_rl，外加 10.4 节的奖励放置。当 kl_in_reward=True 时，每个回合的奖励变为 ri−β∑tk1,tr_i - \beta \sum_t k_{1,t}，在计算优势之前由采样器的对数概率和参考策略算出，此时损失中不含 KL 项。sequence_kl 计算这个求和。
两个正则项都关闭时，这个循环必须与第 9 章的完全相同。它消耗随机生成器的顺序与 train_rl 相同，所以从同一起点各跑三步，参数应当完全一致。
Output:
差异恰好为零，因此下面每一次正则化运行与第 9 章 train_rl 的区别，只在于它打开的那个正则项。

​
单批次上的 clip-higher

上裁剪界是否生效，取决于策略在一个批次内移动了多远，而第 9 章的默认设置（一个轮次、两个小批次）只裁剪了 0.13% 的 token，太少了，ϵhigh\epsilon_{\text{high}} 无关紧要。为了看清裁剪生效时的作用，我们从 RL 基座智能体取一个 64 个回合的批次，在其上分别以 ϵhigh\epsilon_{\text{high}} 为 0.2、DAPO 的 0.28 和实际上无上界的设置运行 8 个全批次更新步。8 步之后，我们统计比率超过 1+ϵhigh1 + \epsilon_{\text{high}} 的正优势策略 token 数，以及其中有多少起始概率低于 0.5。
Output:
在两种有裁剪的设置中，最终超过上裁剪界的正优势 token 大多起始概率低于 0.5（ϵhigh=0.2\epsilon_{\text{high}} = 0.2 时 20 个中有 15 个，0.28 时 15 个中有 14 个），尽管 121 个正优势 token 中只有 17 个起始于这个区间。DAPO 论证的这一部分成立：上裁剪界是对稀有 token 的约束。熵这一列却不符合该论证的结论。8 步之后，裁剪最紧时熵下降最少（0.547 到 0.538），完全没有上裁剪界时下降最多（到 0.508）。去掉上限会释放每一个正优势 token，包括那些增长会让分布变尖锐的中等概率 token，在这个批次上，这一效应超过了给稀有 token 留出的额外空间。DAPO 报告 clip-higher 在 32B 规模的长推理训练中提高了熵；在 TinyAgent 上我们没有看到这一点，无论是这里还是第 9 章的消融实验，所以下面的比较不包括 clip-higher，这一论断留给其出处。

​
10.7 在 TinyAgent 上比较各种正则化手段

现在我们用默认配置训练 40 步（第 9 章的运行在这个阶段还有提升空间），共九种设置：不加正则；梯度正确（k3+）的损失内 KL 惩罚，β\beta 取 0.05、0.3 和 1.0；GRPO 风格的 k3k_3 损失，取 0.3；放在奖励中的 KL，取 0.3（10.4 节）；熵奖励 0.03 和 0.1；以及采样温度 1.3。每次运行都从同一个 RL 基座智能体出发，随机种子为 0。除了留出 pass@1，我们还测量多样性。对一个 nn 次尝试中有 cc 次通过的任务，不放回地抽取 kk 次尝试、其中至少有一次通过的概率为 1−(n−ck)/(nk)1 - \binom{n-c}{k}/\binom{n}{k}；第 17 章推导并保存这个估计量，所以这里它只是一个局部辅助函数。我们还统计每个任务 16 次尝试中不同动作序列的数量，并用 k3k_3 估计相对初始策略的逐 token KL。
Output:
按列来读这张表，并记住这只是一个随机种子、10 个留出任务、每个任务 16 次尝试的结果，所以当某个任务从未被解出时，pass@8 以约 0.1 的步长变化。
  • 熵。 不加正则时，策略 token 的熵在 40 步内从 0.52 降到 0.12。除最弱的 KL 外，每种正则化手段都减缓了下降，减缓程度大致与其强度成比例：KL 系数 0.3 把熵保持在 0.28，1.0 把它保持在起始水平（0.54），熵奖励 0.03 保持在 0.31。熵奖励 0.1 则把策略推向了均匀分布：5.707 nats，而 log⁡316=5.756\log 316 = 5.756，每个回合六次格式错误的调用，通过率为零。
  • pass@1 与 pass@8。 不加正则的运行 pass@1 为 0.725，pass@8 只有 0.80：有两个留出任务在 16 次尝试中从未被解出，因为坍缩的策略在它们上面反复执行同一个错误流程。最弱的 KL（0.05）没有改变熵（0.124），却仍达到 1.000 的 pass@8，pass@1 也是表中最高的 0.80；在单个随机种子下，我们无法把这与噪声区分开。更强的 KL 以 pass@1 为代价换来了多样性：β=0.3\beta = 0.3 时每个任务的不同动作序列数翻倍（8.3 对 4.3），pass@8 达到 0.99，而 pass@1 降到 0.59。β=1.0\beta = 1.0 时，读代码没有占据主导（每回合 0.53 次读取），pass@1 为 0.23，接近 0.2 的盲目上限，而 pass@8 仍有 0.90，因为接近参考策略的策略会采样许多不同的猜测。
  • 估计量。 β=0.3\beta = 0.3 时，k3k_3 损失和 k3+ 损失最终的熵（0.294 和 0.284）、pass@1（0.594 和 0.588）以及与起点的距离几乎相同。在这些逐 token KL 下（约 0.1），10.3 节给出的梯度差异约为 25%，单个随机种子分辨不出它的影响。
  • 放置位置。 同样 β=0.3\beta = 0.3 时，放在奖励中的 KL 比两种损失放置都强得多：pass@1 为 0.34，读取 0.48 次，与起点的距离是除 β=1.0\beta = 1.0 之外最小的（0.059）。这就是 10.4 节所说的尺度差异：奖励版本对回合中 12 到 14 个策略 token 的对数比率求和而不是取平均，然后进入一个按每组离散程度归一化的优势。
  • 熵奖励与温度。 两者都让熵保持得更高，同时却让策略离起点更远，超过不加正则的情况（KL 0.325 和 0.517，对比 0.237），而且都增加了格式错误的调用（每回合 0.28 和 0.25 次，对比 0.04）。熵奖励把质量分散到任何策略都不该输出的 token 上；温度运行中的网络把 logits 变尖锐以补偿 T=1.3T = 1.3，因此在 T=1T = 1 下评估时，它离初始策略比除坍缩的熵奖励之外的任何设置都远。它在训练时的熵（在 T=1.3T = 1.3 下测量）仍从 0.78 降到了 0.47。
图 10.3：从 RL 基座智能体出发、40 步 GRPO 中的策略 token 熵（上）与训练批次奖励（下），单个随机种子。左：使用反向 KL 梯度（k3+）的 KL 惩罚，三种系数。右：熵奖励、k3 损失和放在奖励中的 KL。每个面板中的橙色参考线是不加正则的运行。 图 10.3 展示了表格背后的动态过程。左列按系数排列各 KL 运行：惩罚越强，熵下降得越晚、越平缓，奖励曲线也越低。右列展示其他放置方式。熵奖励的奖励曲线紧跟不加正则的运行，同时把熵保持在 0.3 附近；k3k_3 损失与相同系数的 k3+ 损失走的路径几乎相同（两条绿色曲线，各在一列中）；放在奖励中的 KL 让熵保持得最高、奖励最低。在这个每个任务只有一种正确流程的 gym 上，没有任何正则化手段在 40 步内提高训练奖励：它们换来的是样本的多样性，代价是 pass@1 的下降，且随强度增大。
证据。 本书测得：每种设置一个随机种子，40 步，每步 64 个回合，在 10 个留出任务上评估，每个任务 16 次尝试。小于约 0.08 的 pass@1 差异在这次评估的噪声之内（第 9 章测得默认运行在三个随机种子间的范围为 0.71 到 0.81）。按强度的定性排序（熵、不同序列数、与起点的距离）才是本节演示的机制。

​
主张去掉 KL 的理由

DAPO 去掉了 KL 项，理由是在训练长推理时，“模型分布可能与初始模型显著偏离，因此这一限制并无必要”（“the model distribution can diverge significantly from the initial model, thus this restriction is not necessary”）（DAPO，第 2.3 节，2025-03-18）。第 20 章中公开的代码智能体配方（DeepSWE、SkyRL-Agent）也报告没有使用 KL 损失和熵损失。当奖励是验证器（verifier）时，10.1 节的论证支持这一做法：没有可被利用的学习型奖励，所以需要参考策略的第一个理由不复存在，其余理由（保留未被衡量的能力、累积的信赖域）可以通过在其他任务上评估和 PPO 的逐步裁剪来处理。相反的立场是 ProRL（2505.24864，2025-05-30），它训练了 2,000 多步，报告“通过 KL 散度惩罚进行显式正则化提供了更强、更稳定的解决方案”（“explicit regularization via a KL divergence penalty provides a stronger and more stable solution”），有助于“保持熵”（“maintain entropy”），同时指出随着时间推移，“KL 项可能越来越主导损失，导致策略更新逐渐减弱”（“the KL term may increasingly dominate the loss, leading to diminishing policy updates”）。它的解决办法是重置参考策略，10.8 节复现了这一做法。两者都是大规模单轮推理上的报告，不是针对智能体的受控证据。

​
10.8 实践中的设计问题

问题：训练早期的熵坍缩。 现象： 策略 token 的熵在运行的前十分之一内减半，而奖励仍然很低，零优势组的比例攀升，留出任务上的 pass@kk 趋近 pass@1。 原因： 10.6 节的协方差：在每个组中，成功的尝试大多由策略已经高概率的 token 组成，所以大多数正优势更新都让分布变尖锐，而步长（学习率、轮次数）决定了变尖锐的速度。 可选方案： (a) 降低学习率或轮次数，这也会减慢学习；(b) 对初始策略施加 KL 惩罚，把熵保持在参考策略的水平附近，代价是 pass@1；(c) 熵奖励，使用小系数并监控格式错误的输出；(d) clip-higher，只有裁剪生效时才有帮助；(e) 更高的采样温度，能推迟坍缩。 建议做法： 本书的建议是从第一步就记录熵和 pass@kk，只有当 pass@kk 下降或某个已知良好的行为消失时才把坍缩当作问题；先尝试使用 k3+ 梯度的 (b)，再尝试 (c)。下面的历史记录显示了默认运行坍缩得有多快，以及 (b) 和 (c) 改变了什么。
Output:
不加正则时，熵在前 10 步内下降了三分之一（0.56 到 0.37），而此时批次奖励仍只有 0.41，到第 20 步降到 0.18；第 9 章的 80 步运行则继续降到 0.08。KL 惩罚和熵奖励都把第 20 步的熵的下降减缓到约 0.30。熵奖励做到这一点时第 39 步的批次奖励相同（0.86），KL 则付出了代价（0.73）。默认轨迹在留出任务上的代价见上面的表格：那两个它从未解出的任务。
问题：KL 系数过强或过弱。 现象： 过强时，记录的 KL 一直接近零，奖励过早进入平台期，参考策略很少表现出的行为（这里是读代码）始终无法占据主导；过弱时，KL 无限增长，这一项没有任何可测量的作用。 原因： 在 10.1 节的最优解处，策略用 er/βe^{r/\beta} 对参考策略做倾斜，因此 β\beta 必须与奖励差异相比较，逐 token KL 必须与逐 token 优势相比较。尺度还取决于放置位置：损失中的逐 token 均值与奖励中的逐回合求和相差策略 token 的数量（这里约 13 个，智能体则是数千个）。 可选方案： (a) 在对数网格上扫描 β\beta，同时记录 KL；(b) 使用自适应控制器，把 β\beta 向目标 KL 调整（verl 的 AdaptiveKLController）；(c) 不用 KL，配合留出的回归测试集。 建议做法： 对可验证奖励用 (c)，遵循公开的代码智能体配方；当回路中有学习型奖励或评判模型时用 (b)。三次 k3+ 运行的 KL 日志展示了这几种状态。
Output:
β=0.05\beta = 0.05 时，到参考策略的 KL 到第 20 步攀升到 0.20，接近不加正则的运行最终与起点的距离（表中留出回合上为 0.237），所以这一项几乎没有改变什么。β=1.0\beta = 1.0 时，它在整个运行中把策略保持在逐 token KL 0.03 以内，而参考策略大约每四五个回合才读一次代码（第 9 章测得每回合 0.21 到 0.24 次读取），读代码始终没有占据主导（每回合 0.53 次读取，pass@1 为 0.23）。β=0.3\beta = 0.3 是中间状态：KL 在 0.1 附近进入平台期，而奖励继续缓慢上升。
问题：参考模型的显存与计算成本。 现象： 启用 KL 项后训练器显存不足，或者步时间增加了一大块。 原因： 参考模型是第二个完整模型，必须为每个训练 token 产生对数概率。它只需要权重（不需要梯度或优化器状态），但它给一个训练步增加了一次前向传播，而原本一个训练步只包括训练器为 πold\pi_{\text{old}} 计算对数概率的一次传播（第 9 章会重新计算它）以及一次前向和一次反向传播。 可选方案： (a) 在 rollout 期间由推理集群计算参考对数概率，随批次一起传输；(b) 单独卸载或切分参考模型；(c) 在 LoRA 训练中，把禁用适配器的基座模型用作参考模型，不需要额外显存；(d) 去掉 KL。 建议做法： 奖励可验证时用 (d)，否则用 (c) 或 (a)。下面是几种模型规模的计算，假设使用 bf16 权重和梯度，以及 fp32 主权重和 Adam 矩（每个训练参数 16 字节）：
Output:
在每种规模下这个比例都是 12.5%，因为每个参数是两个字节对十六个字节。绝对数值决定了可行性：对 32B 策略，参考模型增加的 60 GiB 必须与切分后的训练状态一起放进每个计算参考对数概率的节点；它还在每个训练 token 上多一次前向传播：把一次反向传播算作约两次前向传播，没有参考模型时一个训练步约为四个前向传播单位（πold\pi_{\text{old}} 那次传播、前向、反向），参考模型增加第五个，即训练器计算量多 25%。TinyAgent 只有 157k 参数，参考模型的额外成本很小，所以本章每次运行都负担得起；扩大模型后，就必须单独核算这笔开销。
问题：重置参考策略。 现象： 使用 KL 惩罚时，记录的 KL 稳定在一个平台上，而奖励不再提高；起约束作用的已经是惩罚项，而不是任务本身。 原因： 参考策略是初始策略，所以训练需要离起点越远，KL 梯度抵消掉的每次更新的部分就越多。 可选方案： (a) 降低 β\beta；(b) 把参考策略硬重置为当前策略（并像 ProRL 那样重置优化器状态），使 KL 成为局部信赖域，而不是锚定在起点；(c) 去掉 KL。 建议做法： 如果使用 KL，就按与验证集平台期挂钩的时间表重置，正如 ProRL 报告的做法。我们把 β=0.3\beta = 0.3 的运行继续训练 20 步两次，一次锚定在起点，一次把参考策略重置为当前策略；两次都重新初始化优化器。
Output:
锚定在起点时，策略到参考策略的 KL 保持在 0.18，pass@1 升到 0.731。把参考策略重置为当前策略后，到（新）参考策略的 KL 只有 0.029，熵降到 0.135，pass@1 进一步升到 0.787，不同序列更少（4.6 对 6.0）。重置做了 ProRL 所描述的事：它去掉了累积的、指向起点的拉力，让策略得以继续改进，同时也失去了 KL 保留下来的一部分多样性。一个随机种子和 160 个评估回合无法对 0.731 与 0.787 排序；每一列的变化方向才是机制所在。

​
小结

  • KL 正则化目标有闭式最优解 π∗∝πref er/β\pi^* \propto \pi_{\text{ref}}\, e^{r/\beta}：用指数化的奖励对参考策略做倾斜，永远不会离开参考策略的支撑集。熵奖励是参考分布为均匀分布时的同一个目标。
  • 在 Schulman 的估计量中，k1k_1 和 k3k_3 的取值无偏，并且在 KL 较小时 k3k_3 的离散程度远低于其他两者。用作损失时，它们给出不同的梯度：k1k_1 的期望梯度为零，k2k_2 给出反向 KL 梯度，k3k_3 给出前向 KL 梯度，其相对反向方向的误差随距离增大。kl_estimate(..., 'k3+') 记录 k3k_3 的值，而按 k2k_2 求导。
  • 对序列而言，逐 token 的 KL 损失忽略了一个 token 如何改变其后各 token 的 KL；放在奖励中的 KL 通过策略梯度给出精确的序列梯度。在 TinyAgent 上，同样的 β\beta 下奖励放置的惩罚要强得多，因为它对 token 求和并进入优势。
  • 反向 KL 倾向于集中在高概率模式，前向 KL 倾向于覆盖参考分布的多个模式；反向 KL 惩罚本身并不保留参考策略的备选。
  • 当更新提高已经高概率的 token 时，熵下降，ΔH≈−Cov(log⁡π,Δz)\Delta H \approx -\mathrm{Cov}(\log\pi, \Delta z)。在 TinyAgent 上，不加正则的运行在 40 步内从 0.52 nats 降到 0.12 nats，且十个留出任务中有两个在 16 次尝试内从未被解出；KL 惩罚和熵奖励减缓了坍缩并提高了 pass@8，代价是 pass@1；0.1 的熵奖励破坏了动作格式；clip-higher 对熵没有可测量的影响。这些是单随机种子的机制演示。
  • 对于可验证奖励，去掉 KL（DAPO、DeepSWE）省掉了一个参考模型和一个需要调的旋钮；保留 KL（ProRL）则以 pass@1 换取熵，并需要重置参考策略，以免训练被锚定在起点。

​
练习

  1. 证明给 k1k_1 损失加上缺失的得分函数项 E[∇k1+sg(k1)∇log⁡πθ]\mathbb{E}[\nabla k_1 + \mathrm{sg}(k_1)\nabla\log\pi_\theta] 后得到反向 KL 梯度，并证明对 k3k_3 做同样的修正也是如此。用 expected_loss_grad 式的穷举检验两者。为什么没有人实现修正后的 k3k_3 来代替 k3+？
  2. 把 Eπθ[k2]\mathbb{E}_{\pi_\theta}[k_2] 展开到 ℓ\ell 的三阶，预测 10.2 节中小 KL 时的偏差列。你的近似在 KL 多大时失效？
  3. 改变一个假设：只用不加正则和 KL k3+ 0.05 两种设置，把 10.7 节重新运行 80 步而不是 40 步。当不加正则的运行的熵达到第 9 章的 0.08 时，它的 pass@8 会低于正则化运行吗？对照三个随机种子的离散范围报告这一差异。
  4. 把 10.4 节的两 token 模型扩展到三个 token，并实现一种精确的损失放置：逐 token 的 k2k_2 损失，加上一个携带每个 token 未来 KL 的 REINFORCE 项。用精确梯度验证它，然后说明 GRPO 训练器必须在其损失中加入哪一部分才能实现它。
  5. 在 train_regularized 的副本中实现自适应 KL 系数（每步 β←β(1+clip(KL/KLtarget−1,±0.2)/10)\beta \leftarrow \beta(1 + \mathrm{clip}(\mathrm{KL}/\mathrm{KL}_{\text{target}} - 1, \pm 0.2)/10)）。哪个目标 KL 能让 TinyAgent 学会读代码，同时让 pass@8 至少与不加正则的运行一样高？
  6. 把熵奖励限制在每次工具观测之后的第一个策略 token 上（ARPO 认定的高熵位置；第 20 章）。在平均熵相同的条件下，与均匀熵奖励比较格式错误的调用和 pass@8。
  7. 设计评审：某团队用 verl 的默认设置 use_kl_loss=True、kl_loss_type=low_var_kl、kl_loss_coef=0.001，在测试执行奖励上训练 SWE 智能体。记录的 kl_loss 为 0.02，策略熵在 200 步内下降了 70%。根据本章，论证这个 KL 项是否在起作用、它计算的是哪个梯度、你接下来会记录什么，以及如果奖励是 LLM 评判而不是测试，你会做哪些改变。