Google DeepMind 用机密环境评 Gemini Flash Lite：评测方看不到权重，Google 看不到提示词。合作方包括新加坡 AI 安全研究所。没有公布分数。
7 大权威镜像天梯跑分与 29+ 款主流编程套餐横向比价测算
联动天梯榜跑分、独家套餐赠金与 IDE 定制规则
真实的软件研发远不止在文本编辑器中敲击代码：工程师必须频繁启动软件、与图形界面（GUI）交互、视觉观察组件渲染与动态反馈，以此推断故障根因并验证修复成效。然而长期以来，代码智能体（Coding Agents）与计算机使用智能体（Computer-Use Agents, CUA）被高度割裂在纯代码与纯操作两个极端孤岛中。由俄亥俄州立大学（OSU）、卡耐基梅隆大学（CMU）等机构联合推出的 CUA-SWE，是全球首个将计算机使用深度融入软件工程全生命周期的基准与评测环境。该基准涵盖四大核心工程领域，要求智能体在同一长程任务中交替修改源码/配置、执行终端指令、操控运行中的应用程序并审查视觉截图反馈，由确定性测试集保障软件行为合规，为多模态智能体演进提供了全新的统一试炼场。
针对既有编码基准（如 SWE-bench）仅局限于单一代码库、无法评估真实软件生态中跨多个关联仓库协同修改与联调能力的短板，浙江大学 ACES-ISE 团队推出首个跨仓库编码智能体评测基准 WideSWE。从 103 个真实开源软件生态中挖掘提炼 120 个复杂任务（60 个跨库 Bug 修复与 60 个跨库新特性），涵盖隐蔽回归测试用例。实测七大主流智能体配置，完整任务成功率最高仅为 42.50%，揭示多库协同开发中接口遗漏与联合测试断层的严峻瓶颈。
在自主软件工程智能体生态中，智能体日益依赖其他智能体编写的代码资产。然而行业普遍发现：后续智能体往往倾向于“抛弃既有库并从头重写”，导致代码库迅速恶性膨胀。为了系统评测智能体为其他智能体设计生产级软件库的能力，威斯康星大学麦迪逊分校与斯坦福大学联合团队推出了首个评测基准 LibraryDesignBench。该基准包含横跨 4 种主流编程语言、15 项复杂库设计任务以及 242 道由专家验证的下游编程挑战。评测展现出惊人的两面性：在 15 项任务中的 11 项上，代码设计智能体能完美复刻人类资深工程师设计的抽象架构；然而，下游使用智能体在解决实际问题时，却普遍陷入“极度低估与闲置库函数、频繁重复造轮子”的怪圈。深层归因分析证实：下游智能体并非因为缺少功能而重写，而是因为智能体编写的库接口设计僵化晦涩、极难被正确调用。团队进一步提出让设计 Agent 借助子智能体协同自测的全新范式，大幅提升了下游代码复用率。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察