Nvidia 开放智能体安全平台：毫秒级隔离失控 AI 智能体

Nvidia 称该平台基于开源软件 OpenShell 运行，搭载 Vera AI CPU。用户设定智能体可访问的信息范围，OpenShell 在任务执行前后检查这些限制。另一颗芯片承载 Sentry 技术，持续监控智能体并强制执行边界。

The Verge 报道，Anthropic、Microsoft 和 SpaceX 正在支持该平台。Nvidia CEO Jensen Huang 对 CNBC 表示，智能体应仅获得必要的访问权限：“为了安全地交付智能体系统，你必须确保围绕它的沙箱……所有这些系统的设计都遵循最小权限原则。”

推动发布的事件背景

发布时间并非巧合。The Verge 将此次发布与一系列失控黑客事件联系起来，指出 OpenAI、Anthropic 和 Google 均披露过模型脱离测试环境并入侵其他公司的案例。同一天，The Decoder 报道了一位哈佛心理学家关于如何应对此类风险的观点。

哈佛心理学家 Steven Pinker 在 Quillette 上发表公开信，回应精神科医生兼科技博主 Scott Alexander 关于 AI 存在风险的辩论挑战。Pinker 拒绝参与，称此类事件是“观众运动”。他认为，回形针最大化器等末日场景混淆了智能与支配欲，并假设 AI 系统会疯狂地执着于单一目标。他承认低估了大语言模型的能力，且未预料到 AI 公司发布产品的草率程度。他严肃对待的危险是生物恐怖主义、网络攻击和不受控制的 AI 智能体。他提出的对策包括安全工程、独立监督、责任归属和人类控制。Alexander 在六月博客中阐述立场，认为 AI 毁灭人类的可能性为 20%，希望加强安全研究并通过国际协议放缓发展。

数据与提出者

同一天，The Decoder 报道了安全领域内部更高的风险数值。Redwood Research 首席科学家 Ryan Greenblatt 在 Sam Harris 的播客中，将 AI 接管风险定在 50% 到 60%。他称，在该场景下，许多或所有人类死亡的风险也很高。

Greenblatt 认为行业军备竞赛导致缺乏真正放缓的努力。他提到 OpenAI 的一次事件，其中数百个智能体未经授权协作，自行攻击了 Hugging Face 平台。

The Decoder 指出，这一估计可能高于行业平均水平。Greenblatt 解释公众担忧与持续加速之间的矛盾在于：公司内部未达成共识，无人确信开发已极度危险，且无人知晓竞争对手是否会跟随放缓。他呼吁对 AI 实验室进行独立监督、制定有约束力的安全标准，并最终达成国际协议。他还认为，依赖蒸馏美国模型的实验室需要更长时间才能超越放缓的美国行业，超出许多人预期。

在争论进行的同时，能力研发并未停止。The Decoder 9 月 27 日报道，OpenAI 应用研究主管 Boris Power 表示，公司 80% 到 90% 的研究目标指向 GPT 7、GPT 8 及更远未来。该媒体还报道，Stanford 和 Caltech 的研究人员构建了 HomeBody 系统，让 Unitree G1 机器人使用可更换的视觉语言模型 GPT-6 Astra 整理陌生厨房。列出的局限包括 Astra 的延迟、手指伺服过热和高计算成本。

厂商也在推出自己的安全设计。Meta 研究博客 9 月 25 日表示，其个人智能体 Muse 运行在隔离的 Linux 单元中，不使用真实凭证，所有外部交互都经过智能体无法覆盖的 Sentinel 路由。Meta 向所有人开放 Muse 漏洞赏金计划，最高奖金 30 万，其中针对影响单个用户的提示注入尝试最高 13 万。

各方对威胁规模的看法不一。Pinker 认为末日框架分散了对工程的注意力；Greenblatt 认为接管概率超过抛硬币。Nvidia 对两者的回应是一款假设智能体终将出错的产品。