循环 Transformer 迎来近乎零成本爆发！LoopCD 提出循环对比解码：FLOPs 砍半算力立省 48%，AIME 跑分由 61.8% 跃至 73.3%

核心背景与行业痛点

随着端侧部署与边缘计算需求的爆发，以递归循环执行单层模块为代表的循环 Transformer（Looped Transformers，如 Ouro、Huginn 架构）成为追求极致参数密度与轻量化的核心研究热点。其核心哲学是通过空间换时间——仅维持 1B 到 3B 的极小显存占用，通过循环复用 4 轮、8 轮乃至 16 轮达到等效数百层深层大模型的推理能力。然而在现有的标准自回归解码中，系统存在着触目惊心的算力浪费：模型在第 1 轮到第 N-1 轮生成的所有中间隐层状态被完全丢弃，仅用第 N 轮的最后输出投影到词表生成 Token。如何变废为宝，在完全不引入外部辅助小模型、不进行昂贵二次微调的前提下充分榨取循环中间状态的指导价值，是推理加速与质量增强的关键命题。

架构亮点与底层机制

针对上述算力丢弃痛点，联合研究团队提出了 LoopCD（循环对比解码）框架，开创了循环模型自内生弱监督新范式：

1. 内生弱-强表征天然对齐：传统对比解码（Contrastive Decoding）必须在显存中常驻一个独立的小型弱模型（Amateur Model）作为负向参照物，通信与显存开销沉重。而 Looped Transformer 本身在早期循环（如第 2 轮）的计算表征天然就是一个“未充分思考的同源弱表征”，与最终循环（如第 8 轮）形成了完美的零成本强弱对齐对；
2. LoopCD-Logits 双路对比：在仅增加单次轻量级投影开销的前提下，将最终循环 Logits 减去早期循环 Logits 的缩放分布，有效剥离模型浅层高频复读幻觉与表层捷径偏置；
3. LoopCD-Hidden 隐层零开销注入：更进一步，团队提出了直接在隐层状态（Hidden States）空间沿时间轴计算差分梯度的 LoopCD-Hidden 机制，实现绝对的零额外输出头前向传递开销（Zero Extra Output Passes）；
4. 循环轮次直接减半：借助对比解码带来的极高信噪比，模型无需跑满全深度即可达到收敛，直接削减推理计算量。

权威 Benchmark 与实测跑分对比

研究团队在涵盖奥数推理、复杂代码编写与通用语言理解的四大循环模型架构上展开了系统性验证：

1. AIME 2024 竞赛数学大幅暴涨：在极具挑战的 AIME 2024 高难度竞赛基准上，LoopCD-Logits 驱动的 Ouro-2.6B-Thinking 模型其 Pass@1 成绩从原始全深度基线的 61.88% 飙升至 73.33%，实现了 11.45 个百分点的惊人跨越；
2. HumanEval 代码生成大幅提升：在 Huginn 循环代码模型上，采用零输出开销的 LoopCD-Hidden 解码，将 HumanEval Pass@1 从 22.56% 提升至 31.71%；
3. 前向算力 FLOPs 暴降高达 48.2%：最核心的工程突破在于——当将循环执行深度直接削减 50%（例如从 8 轮砍至 4 轮）并搭配 LoopCD 时，其综合答题质量依然稳稳超越原本跑满 8 轮的未引导基线，端到端前向推理 FLOPs 直接缩减 22.5% 至 48.2%，显存带宽瓶颈大幅缓解。

开发者实战落地与开箱指南

LoopCD 的核心算法实现极其轻巧优雅，本质上仅是对 Hugging Face Transformers 或 vLLM 的 generate() 解码循环进行数十行逻辑增强。对于正在将循环模型（如 Ouro、RecurrentGemma 变体）部署到端侧芯片、移动设备或高并发微服务器的开发者，无需重新训练任何权重，只需在解码器配置中启用循环状态保留缓存与差分加权算子，即可在零训练成本下直接享受“推理质量提升 + 推理延时砍半”的双重红利。