学术界与产业界联合发布 Android Bench 2.0 评测基准。随着 Coding Agent 轻松突破简单单元测试与单函数修复，新版本全面引入需耗时数天才能完成的「长程任务（Long-Horizon Tasks, LHT）」，重点考察智能体从零搭建完整 App、多模块大版本依赖平滑升级以及跨端联调的架构鲁棒性。
7 大权威镜像天梯跑分与 29+ 款主流编程套餐横向比价测算
联动天梯榜跑分、独家套餐赠金与 IDE 定制规则
针对既有编码基准（如 SWE-bench）仅局限于单一代码库、无法评估真实软件生态中跨多个关联仓库协同修改与联调能力的短板，浙江大学 ACES-ISE 团队推出首个跨仓库编码智能体评测基准 WideSWE。从 103 个真实开源软件生态中挖掘提炼 120 个复杂任务（60 个跨库 Bug 修复与 60 个跨库新特性），涵盖隐蔽回归测试用例。实测七大主流智能体配置，完整任务成功率最高仅为 42.50%，揭示多库协同开发中接口遗漏与联合测试断层的严峻瓶颈。
在自主软件工程智能体生态中，智能体日益依赖其他智能体编写的代码资产。然而行业普遍发现：后续智能体往往倾向于“抛弃既有库并从头重写”，导致代码库迅速恶性膨胀。为了系统评测智能体为其他智能体设计生产级软件库的能力，威斯康星大学麦迪逊分校与斯坦福大学联合团队推出了首个评测基准 LibraryDesignBench。该基准包含横跨 4 种主流编程语言、15 项复杂库设计任务以及 242 道由专家验证的下游编程挑战。评测展现出惊人的两面性：在 15 项任务中的 11 项上，代码设计智能体能完美复刻人类资深工程师设计的抽象架构；然而，下游使用智能体在解决实际问题时，却普遍陷入“极度低估与闲置库函数、频繁重复造轮子”的怪圈。深层归因分析证实：下游智能体并非因为缺少功能而重写，而是因为智能体编写的库接口设计僵化晦涩、极难被正确调用。团队进一步提出让设计 Agent 借助子智能体协同自测的全新范式，大幅提升了下游代码复用率。
SWE-bench 评测团队联合顶尖机器人实验室（@SWEbench）正式发布 EmbodiedSWE 基准（arXiv: 2609.27308）。该基准将软件工程智能体的评测范围首次从纯代码仓库拓展至机器人仿真与物理交互环境，包含 250 个真实机器人控制系统长程任务，全面考察智能体从物理感知、算法调试到闭环电机控制的代码编写与排错能力。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察