Andrej Karpathy 撰文指出简单 LLM 测试已过时。他给 Opus 5 输入《魔戒》开篇段落、赋予 100 万 Token 预算并要求用 Three.js 渲染；模型自主持续运行约两小时，生成了 5500 行高复杂度的过程式 3D 渲染代码，证明前沿模型已具备构建超定制复杂世界的惊人耐力。
7 大权威镜像天梯跑分与 29+ 款主流编程套餐横向比价测算
联动天梯榜跑分、独家套餐赠金与 IDE 定制规则
在自主软件工程智能体生态中，智能体日益依赖其他智能体编写的代码资产。然而行业普遍发现：后续智能体往往倾向于“抛弃既有库并从头重写”，导致代码库迅速恶性膨胀。为了系统评测智能体为其他智能体设计生产级软件库的能力，威斯康星大学麦迪逊分校与斯坦福大学联合团队推出了首个评测基准 LibraryDesignBench。该基准包含横跨 4 种主流编程语言、15 项复杂库设计任务以及 242 道由专家验证的下游编程挑战。评测展现出惊人的两面性：在 15 项任务中的 11 项上，代码设计智能体能完美复刻人类资深工程师设计的抽象架构；然而，下游使用智能体在解决实际问题时，却普遍陷入“极度低估与闲置库函数、频繁重复造轮子”的怪圈。深层归因分析证实：下游智能体并非因为缺少功能而重写，而是因为智能体编写的库接口设计僵化晦涩、极难被正确调用。团队进一步提出让设计 Agent 借助子智能体协同自测的全新范式，大幅提升了下游代码复用率。
大语言模型能力的爆发越来越依赖高质量、可验证的智能体交互数据（SFT 与 RLVR），然而目前这类工业级训练数据的生产仍然极度依赖高技能人类专家的手工标注，难以实现随算力自然扩展的递归自我进化（Recursive Self-Improvement, RSI）。香港中文大学、思谋科技等联合团队推出首个直接对齐工业数据验收标准的智能体自主数据合成评测基准 AutoDataBench。与以往必须花费高昂算力训练一个完整下游模型才能检验数据质量的间接做法不同，AutoDataBench 模拟生产流水线验收准则，直接对智能体单一样本生成结果的合法性、新颖度、挑战难度以及行为覆盖度进行样本级严苛打分。实测显示：在 45 分钟默认测试时预算下，当前顶级智能体得分均未超过 20/100；然而将时间预算增加 4 倍后，优质可用样本的产出率大幅跃升且单样本生产成本保持稳定，充分证实智能体具备完全自主生产高质量训练数据的潜力，但亟待突破推理效率瓶颈。
针对现有评测大多局限于 20 步以内的短程或单体能力简单累加的缺陷，宾大等学者发布开源多智能体协作评测基准 AgentWorld。在包含 50+ 轮交互的 MMORPG 沙箱中构建 100 项人工校验任务，涉及 3-20 个具备非对称技能的黑盒智能体。研究提出因果协作效率（CCE）图算法，实测顶级模型成功率仅 52.0%，揭示长程规划衰减与沟通崩溃两大瓶颈。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察