同策略还是异策略？剑桥团队解密大模型蒸馏动力学：KL 方向与学习率主导成败，打破 On-Policy 迷信

核心背景与行业痛点

随着教师-学生模型知识蒸馏（Distillation）成为缩小小参数模型与前沿千亿旗舰差距的标准路径，学术界与产业界爆发了激烈的技术路线争端：一方坚信基于学生模型自采样（On-Policy）的强化学习式微调具有压倒性优势，认为其能有效避免分布外偏移与灾难性遗忘；另一方则依赖教师模型生成的离线轨迹（Off-Policy SFT）进行监督训练。然而，行业现有绝大多数横向评测存在致命的方法论缺陷：在对比 SFT 与 PPO/GRPO 时，往往同时变动了损失函数形式、KL 约束、梯度裁剪以及学习率等多重超参，导致人们将其他优化红利错误地归功于“On-Policy 采样策略本身”。

架构亮点与底层机制

针对这一根本性谜团，剑桥大学 van der Schaar 实验室在 Llama3 与 Qwen2.5 家族的数千组受控实验中，建立了完备的“单变量分离强到弱蒸馏（Strong-to-Weak Distillation）”实验体系：

1. 核心维度全正交解耦：将实验变量严格隔离为：采样策略分布（从纯教师采样到纯学生采样的连续谱系）、Token 级 KL 散度方向（正向 Forward-KL vs 反向 Reverse-KL）、以及学习率（Learning Rate）量级；
2. KL 梯度机理解剖：从数学梯度公式证实，前向 KL（Forward-KL）对采样策略的变化具有极强的鲁棒性——无论使用教师分布还是学生分布采样，其优化曲面均展现出极其稳健的表现；
3. 反向 KL 的不对称敏感性：相比之下，反向 KL（Reverse-KL）对采样策略极其敏感，且显著偏爱学生自生成的采样轨迹；
4. 遗忘与更新稀疏度的真实推手：因果消融进一步证实，模型参数更新的稀疏度与知识遗忘程度并非由 On-Policy 机制决定，而是几乎完全由学习率及优化器阻尼主导。

权威 Benchmark 与实测跑分对比

研究团队在涵盖高等数学计算（Countdown 算术）、医学临床推理（PubMedQA）与多步科学逻辑论证的大规模基准上展开了全面检验：

1. 前向 KL 消除采样策略差距：在 Forward-KL 目标下，使用完全离线的 Off-Policy 轨迹训练的学生模型，其在各项复杂推理任务上的综合得分与昂贵的 On-Policy 采样训练几无统计学差异；
2. 极端泛化场景的细微边界：在面对高难度分布外变体（如更长数字约束的 Countdown 挑战）时，On-Policy 采样数据确实在两种 KL 方向下带来了一定的泛化增益，但实验证明这一微弱优势在后续接入可验证强化学习（RLVR）后会被迅速抹平；
3. 长程思维链下的稳健性验证：在移除了梯度裁剪、采用不同采样 KL 估计器以及拉长思维链（Long-CoT）的泛化测试中，上述结论依然保持 100% 成立。

开发者实战落地与开箱指南

这项基础性理论发现为大模型后训练算法工程师提供了清晰的架构指导与降本捷径。对于正在研发垂直领域小模型（如 3B~14B 专用模型）的团队：如果训练目标采用标准的前向 KL（如常规语言建模自回归损失），开发者完全无需耗费巨资搭建昂贵的高并发在线 Rollout 采样集群，高质量的离线 Off-Policy 教师数据集搭配精心调优的学习率即可达成同等性能；仅当系统深度依赖反向 KL 或特定模式强化时，投资 On-Policy 采样流水线才具备真实投资回报率（ROI）。