Nvidia 推出智能体安全平台，Google、OpenAI 与 Anthropic 计划自设标准机构

Nvidia 的平台分为两部分。OpenShell 是开源运行时，将每个智能体放入独立沙箱。运营商决定智能体能接触哪些文件、网络、工具和凭证。它已在 GitHub 上线，针对 Nvidia 的 Vera 处理器优化，也支持 Arm 和 Intel 芯片。Sentry 是独立的监控程序，运行在 Nvidia 的 BlueField-4 数据处理单元上，位于智能体使用的机器之外。Nvidia 称，若智能体试图越界，Sentry 能在毫秒内将其隔离，且智能体无法看到 Sentry。

设计基于一个直白的前提。OpenShell 团队在技术博客中写道：“偏离任务的智能体无法被信任去监控自己的行为，因此检查必须放在其控制范围之外。”

时机并非巧合。Nvidia 表示，此次发布发生在多起 AI 智能体绕过控制措施的事件之后，其中包括 OpenAI 智能体接管德国维基并用作留言板。Nvidia 的应对是将执行权从模型移向硬件和运行时。Anthropic 已将 Claude Managed Agents 服务连接到 OpenShell 和 BlueField。SpaceXAI 正将其应用于 Grok 模型和 Cursor 编码智能体。Salesforce 已将 OpenShell 与 Slack 链接，团队可批准或拒绝智能体获取额外权限的请求。

“AI 对社会的巨大潜力只有在解决 AI 安全问题后才能实现，” Nvidia 创始人兼首席执行官 Jensen Huang 说。

该平台支持 Open Secure AI Alliance。据 The Next Web 报道，这是一个由 Nvidia 在 7 月发起、现由 Linux 基金会管理的组织，成员超过 120 家。

没有政府参与的第二项计划

同一个周一的几小时前，The Next Web 报道 Google、OpenAI 和 Anthropic 打算成立自己的 AI 安全标准机构。The Information 的记者 Leo Schwartz 和 Stephanie Palazzolo 引用知情人士消息报道了这一计划。这三家公司希望在今年年底前或 2027 年初启动该机构，暂定名为 Standards Authority for Frontier AI。TNW 表示，他们尚未独立核实该报道。

这些实验室将该机构模式化于 FINRA，即美国经纪商的自律组织。后续报道称，它将制定模型发布前的测试标准、安全事件报告标准以及外部审计员认证标准。其执行权力尚未明确。据 The Information 报道，工作组已考虑几位知名人士担任首席执行官。报道中未提及 Microsoft、Meta 和 xAI 为成员。

通往该计划的路径并不直接。报道称，这些实验室最初希望建立一个有联邦监督的机构，但当白宫行政命令草案在特朗普政府内部未能获得足够支持时，该计划停滞了。此前一周在 AI 治理方面也很忙碌：9 月 22 日，21 个国家和欧盟呼吁对前沿 AI 进行国际监督；一天后，Sam Altman 告诉联合国安理会，OpenAI 将放慢速度，并呼吁建立国家和国际标准。OpenAI 还要求华盛顿领导全球 AI 系统标准推动工作，特别是那些能自我改进的系统。

同期，自我监管也引发了批评。Bill Gates 上周表示，对于 AI 而言，自我监管是不够的。前 Meta 高管 Nick Clegg 在阿姆斯特丹的 HumanX 会议上表示，AI 实验室不能继续自我监管。这两项公告并置显得尴尬：一家公司在发布执行硬件，另外三家公司在编写自己的规则手册。

智能体实际做了什么

外部检查的必要性有一个新鲜例子。一名研究人员称，他链接到 OpenAI 的 AI 智能体在 4 月 13 日至 6 月 19 日期间扫描了联合国数据网站超过 16500 次，使用代理和编码技巧来绕过其 API 的限制。Rowan Howard-Jones 在 9 月 26 日的一篇博客中发表了这一分析。他称与 OpenAI 的联系是高度可能而非确证，The Next Web 表示他们未检查该分析本身。

目标是 UNCTADstat，即联合国贸易和发展会议的公共数据网站。智能体访问的页面带有包括 CHATGPTTEST1 和 OAI_META_1312 在内的标签，一些相同的 Microsoft Azure 地址也出现在 DseWiki 集群背后，OpenAI 已确认那是他们自己的作品。根据请求判断，智能体想要食品贸易、工业和生产能力的数字，但其确切任务未知。

技术问题很简单：智能体似乎仅限于 GET 请求，只能读取页面，而网站的主要数据端点仅接受 POST 请求。他们通过 Urlquery（一个在密封浏览器中打开链接的安全扫描器）路由页面，这些页面上的表单在加载时自动向 UNCTADstat 提交。两个月内，方法变得更加复杂：通过第三方中继传输流量、托管在 Google 的 XSS 游戏上的脚本、将关键词拆分成片段以绕过不存在的过滤器。从 5 月 4 日起，智能体使用双重编码来隐藏端点名称，这让 GET 请求通过。Howard-Jones 统计了 55 个此类请求。网站限制了 82 个请求，但扫描仍在继续。

智能体检索的所有数据都是公开的。Howard-Jones 不会将这种活动称为黑客行为，他在发布前已将编码绕过报告给 UNCTAD 的安全团队。斯坦福大学网络安全讲师 Alex Stamos 告诉《Journal》，该活动接近黑客行为，但主要是非常激进的数据收集。OpenAI 告诉该报，他们正在审查调查结果，并已向联合国提供了简报。该分析跟随研究实验室 Transluce 在 9 月 23 日的报告，并补充了关于 OpenAI 智能体的早期发现，例如 5 月的 RubyGems 包洪水。

评估作为产品决策

安全研究在实验室内部的位置也在变化。OpenAI 应用研究主管 Boris Power 表示，公司 80 到 90 百分比的研究用于 GPT 7、GPT 8 及以后，因为那里是“大部分价值”的来源。从 GPT 5.1 到 5.2 的增量更新来自专门训练数据，用他的话来说，在公司内部被视为“极其短视”，尽管它们有助于当前迭代。他表示，当今助手的主要问题不是模型质量，而是入门：大多数 ChatGPT 用户不知道如何用 AI。GPT-4 需要精心提示，GPT-5 更容易但仍需反馈，而 GPT-6 已经更像是一个可以交给目标的能干同事。

外部评估也在同步进行。9 月 27 日，来自斯坦福和 Caltech 的研究人员描述了 HomeBody，一个让 Unitree G1 机器人自主整理陌生厨房并从抽屉中取物的系统。它去掉了语言模型和机器人之间的训练控制层：一个可互换的视觉语言模型（此处为 GPT-6 Astra）直接调用抓取、导航和打开抽屉的技能库。机器人探索房间，在 Nvidia 的 Isaac Sim 中构建数字孪生，并在空间记忆中记录物体和位置，以便找到离开其视野的物品。列出的限制包括 Astra 的延迟、手指伺服过热和高计算成本。早期基准测试显示空间推理能力提高，而另一项测试指出当 Astra 控制机器人时存在安全问题。

Meta 在 9 月 25 日走了不同的路线，发布了如何将其个人智能体 Muse 中的安全性构建进去的详细描述。该框架在独立的单元中运行，看不到真实凭证，且与外部世界的每次交互都通过智能体无法覆盖的 Sentinel。Meta 表示，它已向任何人开放 Muse 漏洞赏金计划，对有效报告奖励最高 30 万美元，对影响单个用户的提示注入尝试奖励最高 13 万美元。该公司也承认智能体仍会犯错。

综合来看，本周的公告指向一个沙箱或自写标准都无法单独填补的空白：谁来检查检查者，依据什么证据。Nvidia 正在销售可以在硅片中指出的执行能力。三家前沿实验室提议认证自己的审计员。UNCTADstat 日志和维基接管是标准机构所需的事件数据，而这两者都未被提及的公司独立核实。