腾讯混元(@TencentHunyuan)发布 WebCraftBench:针对「AI 说站点做完了,但首页报错、按钮重叠、还多出未要求登录流」这类失败,让智能体在真实线上应用中操作,用覆盖引导探索找出未触达路径,再从美学、可用性与是否满足原始需求打分。在 197 对人工校验样本上,与人类偏好一致率 85.3%。论文:https://arxiv.org/abs/2609.15387

核心要点速览 (Key Takeaways)

  • ✓评测让智能体在真实线上应用中操作,而非只看静态截图或代码 diff。
  • ✓覆盖引导探索用于发现从未触达的页面与交互路径。
  • ✓197 对人工校验样本上与人类偏好一致率 85.3%;论文 arXiv:2609.15387。
🧭

阅读完核心要点?进一步了解模型实力与实际开销

7 大权威镜像天梯跑分与 29+ 款主流编程套餐横向比价测算