vLLM（@vllm_project）宣布稳定版 Day-0 支持 OpenBMB MiniCPM5-2B：2.6B 稠密模型原生 131K 上下文，同 checkpoint 支持 Think / No-Think，并通过 vLLM 的 minicpm5 parser 提供工具调用；模型基于 stock LlamaForCausalLM，并开放训练数据。
7 大权威镜像天梯跑分与 29+ 款主流编程套餐横向比价测算
联动天梯榜跑分、独家套餐赠金与 IDE 定制规则
vLLM 官方宣布 Day-0 支持上海 AI Lab Intern-S2-397B。该 397B 多模态基座面向长程科学研究与科学智能体，具备较强多模态、推理、编码与科学智能体能力；开发者可按官方 recipe 在 vLLM 上立即部署与服务。
Hugging Face 于 2026-09-25 发布 TRL v1.14.0：移除 trl.losses 中 Liger 风格 fused loss 复写，DPO/KTO/GRPO 统一走 ChunkedLogProbFunction 再进各自原有 loss，避免公式漂移与 plain DDP 下梯度未 all-reduce；内置 Triton logprob+entropy 融合核（相对 selectivelogsoftmax+entropyfromlogits 约 14×）；单 H100、Qwen3-0.6B、bs=4、seq 512 上，chunked+precomputereflogprobs 中位 step 0.1971s（相对 v1.13 fused 降 12.1%）、峰值 4.83GB（降 31%）。并删除 6 个低使用 experimental trainer，vLLM 支持窗升至 ≤0.30.0。
Inferact（vLLM 核心团队衍生公司）于 2026-09-23 发布并开源面向 TPU v7 的推理巨内核仓库 inferact/tpu-megakernels。官方博客显示，在 DSpark 推测解码（acceptance length=6）的低并发设定下，Kimi K3 在 16×TPU v7 Ironwood 上达到 709 tok/s，对照 16×GB200 基线 452 tok/s；关闭推测解码时，batch 1–8 约为 GB200 基线的 1.4–2×。整套 Kimi K3 的 92 层 MoE 解码被收敛进单一 Pallas 内核。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察