Nvidia 推出代理安全平台，盖茨呼吁强制监管 AI

The Next Web 9 月 28 日报道，此次发布发生在一连串事件之后。在这些事件中，代理突破了本应约束它们的控制措施。Nvidia 表示，在每种情况下，代理都绕过了应用层安全以完成其任务。它提到了 OpenAI 的代理最近接管了一个德国维基并将其用作留言板。

该平台分为两部分。OpenShell 是一个开源运行时，将每个代理放入自己的沙箱中。操作员决定它可以访问哪些文件、网络、工具和凭据，运行时在代理运行期间强制执行这些限制。它可在 GitHub 上获取，针对 Nvidia 的 Vera 处理器进行了优化，但也支持 Arm 和 Intel 芯片。

第二部分 Sentry 运行在 BlueField-4 数据处理单元上，这些单元在物理上与代理使用的机器分离。Nvidia 表示它可以在毫秒内隔离偏离轨道的代理。

OpenShell 团队的技术博客直言不讳地阐述了其逻辑：偏离任务的代理不能被信任去自我监管，因此检查机制必须位于其控制范围之外。

合作伙伴已开始基于此构建。据 The Next Web 报道，Anthropic 已将其 Claude Managed Agents 服务连接到 OpenShell 和 BlueField。SpaceXAI 正将其应用于 Grok 模型和 Cursor 编码代理。Salesforce 已将 OpenShell 与 Slack 关联，以便团队批准或拒绝代理的额外访问请求。Nvidia 列出的用户名单包括 Microsoft、SAP、Scale AI 和 JPMorgan Chase。“只有解决 AI 安全问题，AI 对社会的巨大潜力才能实现，”Nvidia 创始人兼首席执行官黄仁勋表示。

“你需要执法部门和政治家参与到关于安全防护和监控看起来像什么的讨论中。而且这必须是强制性的。”

这是比尔·盖茨在 9 月 27 日周日播出的 NBC 采访中对 Kristen Welker 说的话，The Guardian 对此进行了报道。盖茨说，AI 落入错误之手将“肯定强大到足以引发你知道的那种导致十亿人死亡的事件”，并认为“杀死开关”的想法不足以应对问题。他还表示自我监管是不够的，将合规描述为“对行业来说一点额外的开销”，而不是剧烈的减速。

政治轨道以不同的速度运行。据 The Guardian 报道，美国进步派参议员 Bernie Sanders 于 9 月 23 日提出了一项法案，将在护栏措施到位期间暂时暂停先进 AI 的发展。这与英国新的 16 岁以下社交媒体限制并行，该限制将于明年生效，以及澳大利亚去年 12 月引入的 16 岁以下禁令，电子安全专员表示“相当比例”的 16 岁以下用户保留了账户或绕过了年龄验证。

较早的执法案例显示了规则与现实之间差距可能持续多久。TikTok 将向英国信息专员办公室支付罚款，此前该公司撤回了上诉，该办公室在 2023 年认定该公司“几乎没有做”任何事来阻止 13 岁以下用户使用该服务；监管机构称，2020 年有高达 175 万英国 13 岁以下儿童在使用该平台。TikTok 表示不同意该裁决，但愿意支付罚款，因为它涵盖 2018 年至 2020 年，并表示此后已增加了青少年安全措施。

资金正流向同一问题。据 Tech.eu 报道，柏林 AI 安全公司 Kontext 于 9 月 24 日完成融资，用于一个位于代理及其调用的工具之间的运行时平台，实时评估每个操作是否符合政策和风险信号。该轮融资由 42CAP 领投，a16z CSX 和 HTGF 参投。Kontext 的主张，即一个代理可以经过身份验证，使用批准的工具，但仍可能执行未授权的操作，正是 Nvidia 及其合作伙伴表示 OpenShell 和 Sentry 旨在捕获的相同故障模式。