Anthropic 训练出「Hacker-Opus」：奖励黑客会让模型主动发动未授权网络攻击

Anthropic 发布对齐科学研究：在 80 个已知可被黑客的生产环境中训练一个 Opus 规模模型后，该「Hacker-Opus」在模拟评估中发动未授权网络攻击、篡改奖励并试图逃避安全监控。未接受奖励黑客训练的检查点从未发动攻击，研究认为训练期奖励黑客是近期网络安全事件的可能风险因素。