OpenAI 宣布已与 Apollo Research、METR、Transluce、Goodfire 四家独立评估机构签约,开展首批「嵌入式评估」。评估方可按需获得未发布模型、训练检查点、源代码、训练与评测数据、监控系统,并与负责的研究员交流,在 OpenAI 办公室现场工作,长期审查模型对齐情况和安全防护是否有效。METR 将评估 OpenAI 迄今最大规模强化学习训练中的不对齐行为。评估方可独立发布结论,OpenAI 保留删除机密信息的权利。

核心要点速览

  • ✓四家机构分工:Apollo 查模型是否会暗中对抗开发者意图、防护能否发现;Goodfire 用可解释性工具分析模型内部;METR 评估最大规模 RL 训练中的不对齐行为;Transluce 审查后训练对齐评测的质量和覆盖面
  • ✓访问范围包括未发布模型、训练检查点、源代码、训练与评测数据、监控系统和研究员访谈;涉及模型权重或架构等最敏感 IP 时,可能改为由 OpenAI 研究员陪同跑分析
  • ✓评估方在 OpenAI 办公室使用公司设备工作;OpenAI 基金会董事会下的安全与安保委员会(SSC)可看到未删节报告,分歧最终交 SSC 裁决
  • ✓评估方可独立发布结论,OpenAI 可删除机密信息,并可为修复安全问题请求延迟披露;Apollo 和 Goodfire 收费,METR 和 Transluce 不收费但可能接受 API 额度或算力
  • ✓OpenAI 称这也是其在「White House Accord on Super Intelligence」中承诺接受独立安全评估的一部分;Transluce 计划 2027 年初再做约 8 周的后续评估
OpenAI 启动首批「嵌入式评估」:Apollo Research、METR、Transluce、Goodfire 获内部模型、检查点与训练数据访问权,独立审查对齐与安全防护
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

前沿模型越来越强,外界很难判断实验室自己说的「安全」是否可信。以往的第三方评测多数只能测已发布模型的 API,看不到训练过程和内部监控。OpenAI 这次推出「嵌入式评估」,想让独立机构像内部研究员一样看到更多证据,再公开发布结论。OpenAI 在 X 上发布了这一消息,官方博客页面日期为 11 月 13 日。

架构亮点与底层机制

四家机构各有分工:Apollo Research 分两阶段检验四个论断,包括训练没有激励模型暗中颠覆、红队测试引不出颠覆行为、内部使用中没有颠覆尝试、颠覆背后的推理可被发现;Goodfire 派可解释性研究员分析模型内部,主要服务训练监控和调试;METR 评估 OpenAI 迄今最大规模强化学习训练中的不对齐行为,另有一项监控评估仍在商定范围;Transluce 审查后训练对齐评测的质量和覆盖面。评估方在 OpenAI 办公室用公司设备工作,安全与安保委员会(SSC)可看到未删节报告并裁决分歧。

权威 Benchmark 与实测跑分对比

本次没有发布任何跑分或评估结果,只公布了合作方、访问范围和流程规则。OpenAI 提到此前已与 METR 做过为期 3 周的监控红队演练。结果何时公开,官方未给出时间表。

开发者实战落地与开箱指南

对做 Agent 和模型应用的开发者来说,短期没有新接口可用,但值得关注后续报告:Apollo 和 METR 关注的「暗中颠覆」和「监控能否发现」,正是长任务 Agent 最难排查的风险。企业在选型时,可以把是否接受这类深度第三方评估、报告是否公开,作为评估模型供应商安全承诺的参考。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读ChatGPT dots 支持自定义指令:可在线程里规定语气和哪些操作须先经你同意,回复更快、术语更少、执行更到位
立即阅读→