HuggingPapers 转发 Salesforce AI Research 的 Random Attention：在保留 prompt 的前提下，对每个注意力头均匀随机驱逐 KV token，在推理任务上可与可学习驱逐器打平，同时在 vLLM 上带来约 32%–43% 的更高 serving 吞吐。对长上下文编码与 agent 推理部署，这是一条几乎零训练开销的缓存压缩路径。
7 大权威镜像天梯跑分与 29+ 款主流编程套餐横向比价测算
联动天梯榜跑分、独家套餐赠金与 IDE 定制规则
Inferact（@inferact）宣布与 Google Cloud 共同推进 TPU 在 vLLM 中的一等支持：统一工程路线覆盖生产服务与优化内核、经 TorchTPU 的原生 PyTorch 路径，以及前沿模型 Day-0 支持；并启动社区计划提供共享 TPU 容量与核心维护者评审，产出全部开源。
vLLM 官方宣布 Day-0 支持上海 AI Lab Intern-S2-397B。该 397B 多模态基座面向长程科学研究与科学智能体，具备较强多模态、推理、编码与科学智能体能力；开发者可按官方 recipe 在 vLLM 上立即部署与服务。
Hugging Face 于 2026-09-25 发布 TRL v1.14.0：移除 trl.losses 中 Liger 风格 fused loss 复写，DPO/KTO/GRPO 统一走 ChunkedLogProbFunction 再进各自原有 loss，避免公式漂移与 plain DDP 下梯度未 all-reduce；内置 Triton logprob+entropy 融合核（相对 selectivelogsoftmax+entropyfromlogits 约 14×）；单 H100、Qwen3-0.6B、bs=4、seq 512 上，chunked+precomputereflogprobs 中位 step 0.1971s（相对 v1.13 fused 降 12.1%）、峰值 4.83GB（降 31%）。并删除 6 个低使用 experimental trainer，vLLM 支持窗升至 ≤0.30.0。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察