vLLM（@vllm_project）宣布 DiffusionGemma-Jev 已可在 vLLM 上运行。系统先用响应模板填充画布，只对答案槽位加噪，再在单次去噪步骤中从每个槽位读出概率分布，从而对是非题、选择题或打分题同时给出答案与置信度。相关上游 PR：vllm-project/vllm#57250。
7 大权威镜像天梯跑分与 29+ 款主流编程套餐横向比价测算
联动天梯榜跑分、独家套餐赠金与 IDE 定制规则
Hugging Face 于 2026-09-25 发布 TRL v1.14.0：移除 trl.losses 中 Liger 风格 fused loss 复写，DPO/KTO/GRPO 统一走 ChunkedLogProbFunction 再进各自原有 loss，避免公式漂移与 plain DDP 下梯度未 all-reduce；内置 Triton logprob+entropy 融合核（相对 selectivelogsoftmax+entropyfromlogits 约 14×）；单 H100、Qwen3-0.6B、bs=4、seq 512 上，chunked+precomputereflogprobs 中位 step 0.1971s（相对 v1.13 fused 降 12.1%）、峰值 4.83GB（降 31%）。并删除 6 个低使用 experimental trainer，vLLM 支持窗升至 ≤0.30.0。
Inferact（vLLM 核心团队衍生公司）于 2026-09-23 发布并开源面向 TPU v7 的推理巨内核仓库 inferact/tpu-megakernels。官方博客显示，在 DSpark 推测解码（acceptance length=6）的低并发设定下，Kimi K3 在 16×TPU v7 Ironwood 上达到 709 tok/s，对照 16×GB200 基线 452 tok/s；关闭推测解码时，batch 1–8 约为 GB200 基线的 1.4–2×。整套 Kimi K3 的 92 层 MoE 解码被收敛进单一 Pallas 内核。
vLLM 项目（@vllmproject）发布 v0.30.0（762 提交、315 贡献者）。亮点包括混合注意力热路径：Kimi K3 精简 KDA/AttnRes/MLA，DeepSeek-V4.1-Flash 加入 MXFP8 KV 与异步 Engram，Qwen3.8-Flash-Next 融合 QSA/PLE 并降低 sparse-GQA 开销；另有 HiSparse 主机层、Model Runner V2 的 EAGLE3 管线并行与自适应校验、双密钥 Gumbel-max 水印，以及 Fast Start（CUDA IPC 权重缓存）与 GLM-5.3-Flash、K2-Horizon、Cohere Compass、Bailing V3 VL 等新模型支持。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察