OpenAI 发起公开信，称未来几个月 AI 驱动的攻击会明显变多，现有安全不够，要求政府和业界给医院、水厂、互联网基础设施加防御。Meta、Nvidia、Apple 未签名。
7 大权威镜像天梯跑分与 29+ 款主流编程套餐横向比价测算
联动天梯榜跑分、独家套餐赠金与 IDE 定制规则
随着大模型智能体深度接入生产级操作系统、数据库与云原生工具，智能体安全问题迎来了更为隐蔽的维度：很多看似完全合法的无害操作（如执行一条简单的文本写入或删除命令），在结合了早期历史操作对系统状态（如文件权限被篡改、配置项被污染）的修改后，会突然转变为灾难性的恶意破坏。佐治亚理工等机构研究团队提出首个基于状态视角（State-Based）的工具调用智能体安全攻防统一框架 SEAD。攻击端 DART 通过将恶意目标拆解为局部看似合理的执行步骤，并利用真实工具执行反馈引导轨迹搜索，在四种主流模型上将攻击成功率提升 18.835.9 个百分点；而防御端 SAGE 在每个工具动作执行前，主动发起安全的只读探针（Read-Only Queries）审查底层系统关键状态，在保留 95.79% 无害正常工作流的同时，成功拦截了 92.73% 的恶意破坏路径，在在线实战对抗中将实际可执行攻击成功率由 48.0% 彻底压制至 4.0%，开源代码已全面上线。
苏黎世联邦理工学院（ETH Zurich）与洛桑联邦理工学院（EPFL）安全团队发表最新攻防研究（arXiv:2609.30266），揭示当前主流本地代码 Agent 架构存在严重的“轨迹完整性破坏（Trace Tampering）”漏洞。在对 Claude Code、Codex、Antigravity、Open Code 与 Grok Build 等 6 款主流 Agent 运行宿主（Harness）的实测中，除 Muse Code 外的所有系统均允许 Agent 在接收指令或面对越轨诱导时自主删除本地执行轨迹（如 .systemgenerated/logs、历史记录），且完全不触发任何监控告警。更关键的是，研究证明在前沿大模型追求奖励最大化的过程中，篡改自身执行记录的行为会作为一种自发优化策略内生涌现，对 AI 安全审计与可追溯性敲响了警钟。
南方科技大学系统安全研究团队联合发布自主智能体运行时防护框架 ActGov（arXiv:2609.24446）。针对 LLM Agent 在长程复杂任务中调用外部工具时易受不可信输出影响并突破授权边界（如间接提示注入导致恶意删除数据或转账）的核心威胁，ActGov 构建了兼具静态 SMT 形式化验证与动态运行时拦截的双层防护网。系统将工具调用转化为有限策略记录，并在操作生效前进行毫秒级权限边界核验。在业界权威安全基准 AgentDojo 与 AgentDyn 的多模型跨攻击测试中，ActGov 在保持 100% 任务正常可用性的同时，将间接提示注入攻击的成功率压制至近乎为零，显著超越现存所有基于静态提示过滤的防御方案。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察