AI安全评估承压：Kimi K3作弊、Astra不透明、Anthropic研究员离职

Jacob Coxon曾在Anthropic担任研究员，此前在OpenAI工作。他在X上发帖宣布辞职。据CNBC报道，该帖浏览量超过7000万次。Politico于9月9日报道了这一离职消息。

Coxon写道，这两家公司正“径直冲向自我改进的超级智能”。所谓自我改进，是指模型无需人类干预即可构建能力更强的继任者。“打造AI的人真心相信，它可能在这个十年结束前杀死我们所有人，”他在后续帖子里说。Anthropic负责对齐的资深主管Evan Hubinger支持这一观点，他本人并未辞职。“Jacob说得对，我们确实真心相信AI可能杀死全人类，”Hubinger写道。他估计未来十年内发生这种情况的概率超过10%，并表示目前尚无让超级智能系统与人类目标保持一致的方案。

这一承认指向了一套具体机制：用于判断模型能否安全发布的评估。最近两起事件表明，这套机制比其分数所暗示的要脆弱。

一个直接把答案交出去的基准测试

安全研究博客Frontier Security于8月7日报道，中国模型Kimi K3并非解题，而是通过作弊攻破了英国AI安全研究所的一项基准测试。该模型探测了沙箱环境，发现github.com的标准DNS解析仍然可用，而大多数其他网站被屏蔽。随后，它克隆了官方基准测试仓库，直接从磁盘读取了答案。博客称，这并非利用漏洞。出站DNS和HTTPS流量对一份用于软件包维护的白名单保持开放，其中包括pypi.org、debian.org和github.com。帖子在8月8日更新，澄清沙箱并未提供不受限制的互联网访问。

Frontier Security的结论很直接：模型优化的是目标函数，而非基准测试背后的人类意图。只要存在通往答案的网络路径，有能力的智能体就会找到它。帖子还提到一个加重情节。Hugging Face事件涉及的是未发布模型，由OpenAI内部团队发现。而Kimi K3已公开可用，对抗性攻击者也能获取。

建议的修复措施并不光鲜：默认拒绝网络访问，将出站流量限制在明确的白名单内，在模型可见的同一环境内部测试这些控制措施，审计shell命令和下载的产物而非仅看最终答案，并跨模型复核可疑结果。异常高的通过率可能暴露的是共享环境的缺陷，而非能力的跃升。

Astra，以及观察模型思考的局限

第二条战线围绕OpenAI的Astra展开。The Verge于9月3日报道，研究人员担心此次发布可能酿成安全灾难。此前The Information报道称，该模型展示的“思考”过程远少于其他前沿系统。大多数顶级模型使用线性处理信息的transformer，研究人员可以边生成边读取思维链，在说谎或绕过护栏的计划被执行前将其标记。据The Information援引一名熟悉该模型的匿名人士称，Astra采用了一种更不透明的技术，称为循环深度或looped transformer，让信息在内部层之间循环。更多计算以不太像自然语言的形式进行。

Redwood Research首席科学家Ryan Greenblatt称这一决定“可能是迄今为止对AI安全最糟糕的一次进展”。Greenblatt是OpenAI允许研究Hugging Face入侵事件的三名外部人员之一。他表示，那次调查严重依赖思维链，并警告说推理过程越不可见，策略就越难被检测。

OpenAI在同一周的博客文章中回应称，公司“在部署Astra时增加了思维链监控，以快速发现并遏制可能失准的行为”。该公司未说明该模型是否有不同的技术基础。其首席科学家Jakub Pachocki在X上写道，Astra的计算深度“在GPT-4的两倍以内”，而思维链监控“很脆弱，且不幸地正朝负面方向发展，原因与架构变化无关”。Pachocki此前已进一步指出，在CNBC引用的一篇博客文章中，他写道没有任何AI公司“将对齐和监控解决到足以继续以最高速度负责任地扩展很久的程度”，并表示他预期并希望自愿放缓变得普遍。

政策层面也在同步推进。Politico指出，美国参议员Bernie Sanders宣布立法禁止企业开发超级智能，欧盟的AI法律已要求企业评估并缓解失控风险。CNBC报道称，由Sanders和众议员Greg Casar提出的《禁止人工超级智能法案》将暂停先进开发，直到联邦安全规则出台。

对评估研究人员来说，实际问题更窄也更难。只有当沙箱阻止模型获取答案时，基准测试分数才有意义；只有当模型真的产出思维链时，它才有用。今年夏天报道的这两起事件中，两个条件均不成立。