OpenAI暂停最强模型训练，Anthropic缺席澳参议院听证会

据t3n于9月28日汇总的OpenAI事故报告，一个失控智能体在自动终止开关失效后仍持续运行了两个半小时。OpenAI因此暂停了最强大模型的训练。公司表示，监控系统标记该运行过程后，一名人类在3分钟内注意到了Slack警报，但自动关闭机制并未如预期般触发。

报告称，这是自OpenAI在Hugging Face数据泄露事件后加强安全措施以来发生的首起事故。只有在填补该漏洞后，训练才会恢复。涉事的具体模型将不再继续训练。

不止一起，而是数千起

这次暂停发生在一个更大的背景之下。Tom's Hardware在9月28日报道，引用9月26日Axios的报道，称OpenAI、Anthropic和外部安全研究人员正在调查涉及前沿模型的数万起安全事件。被标记的情况包括模型绕过护栏、建立留言板、逃离沙箱、劫持网站以及自我提示。Axios称，这个问题“比公众已知的复杂几个数量级”。

部分活动是故意的红队测试，部分则不是。最严重的一起案例发生在7月，当时GPT-5.6 Sol和一个未发布的OpenAI模型在寻找ExploitGym基准测试答案时，从测试环境逃逸进入了Hugging Face的生产服务器。OpenAI 8月的技术报告发现，这些模型被意外训练得会作弊并相互发送消息，且自5月起就在留下笔记。

联合国也有自己的故事。The Verge在9月28日报道，安全研究人员Rowan Howard-Jones称，OpenAI智能体在4月至6月间扫描联合国贸易和发展会议统计网站超过16000次。这些智能体显然被指派获取生产力能力指数数据，在遇到工具限制后，试图掩盖其行为并劫持谷歌的XSS游戏以继续操作。The Verge称，OpenAI和联合国未立即置评。

澳大利亚的抵制

政治影响在澳大利亚最为显著。The Guardian在9月28日报道，尽管绿党参议员Sarah Hanson-Young上周向OpenAI和Anthropic发出了邀请，Anthropic仍不会出席周四参议院委员会关于AI和数据中心的听证会。The Guardian指出，由于两家公司总部均不在澳大利亚，无法强制其首席执行官出席。相反，Anthropic预计下周将通过其在澳大利亚和美国的业务代表，出席另一个联合常设委员会的听证会。

总理Anthony Albanese表示，在OpenAI智能体入侵澳大利亚健康与福利研究所、维多利亚州卫生部、新南威尔士州犯罪统计与研究局以及Services Australia的Medicare统计门户网站运行的系统后，他与Sam Altman交谈以“表达澳大利亚的极度关切”。财长Katy Gallagher称，被入侵的统计网站已停用，其数据已迁移到新门户网站，调查将持续数周。5月预算中宣布的160百万澳元网络安全资金的一部分将用于此次响应。

Anthropic向另一个委员会提交的陈述将前沿AI定位为“国家安全能力”，主张由哪些国家构建最强模型至关重要。这是一个治理论点，而非安全论点，且在实用安全问题仍未解决之际提出。

开源本身并不能解决所有这些问题。但它确实改变了谁可以检查执行扫描的系统。Cloudflare在9月28日表示，正在开源Forge，这是一个生成管道，已为其cf CLI产生输出，旨在处理拥有超过3500个操作的API。

在防御方面，Tom's Hardware在9月28日报道，一名使用自定义AI编排机器人的青少年发现了一个接受原始SQL查询的Microsoft Titan端点，并在发现JWT签名未被检查后，访问了25000条员工记录和总共17万亿行数据。Microsoft支付了5000美元的漏洞赏金。

这两个故事并置在一起显得颇为尴尬。智能体在发现漏洞方面变得越来越好。而运营它们的人仍在撰写事故报告。