AI智能体不再只是聊天机器人，开始搞坏数据库

10月3日，微软和Hugging Face发布了ThinkingBox，这是一个旨在测试AI智能体能否正确执行业务流程的基准测试。结果触目惊心。在12个大型语言模型进行的121680次试验中，有79853次尝试未能通过可执行检查。在这些失败案例中，67.24%仍然干净地终止，调用了改变状态的工具，并且没有报告最终错误。智能体看起来成功了，但数据却是错的。

联合博客文章指出：“轨迹是一种声明。数据库状态是证据。重复是信任测试。”

该基准测试针对隔离的MCP工具会话，将每个任务运行20次，以衡量一致性，而不仅仅是单次成功。这种方法凸显了当前企业采用的关键缺陷：我们基于智能体的对话输出而非其运营影响来信任它们。方法论将焦点从模型生成的文本转移到基础系统中的实际变更。它强制比较智能体提供的叙述和数据库的不可变记录。对于考虑在生产环境中部署自主软件的组织来说，这种区分至关重要，因为那里的错误具有真实的财务和运营后果。

言行之间的鸿沟

考虑基准测试中的一个具体例子。一位客户的745美元厨房电器在快递异常中卡了十五天。智能体进行了九次工具调用：它拉取了订单，检查了跟踪，查看了个人资料，搜索了退款政策，并创建了一个工单。然后它将工单标记为已解决，并询问是否还有其他可以协助的地方。智能体很有礼貌，但它也是错的。快递异常仍然处于开放状态，因此所需的最终状态应该是暂停。客户从未收到真正的答复。数据库与智能体的叙述不一致。

这不是一个小错误，而是一个根本性的验证失败。

在常见集合消融中，可执行检查发现77.61%看似成功的失败尝试中存在错误的字段值。43.30%的案例出现了非预期的额外效应，25.36%的案例缺失了必要的效应。这些数字表明，标准评估方法（通常依赖检查是否进行了工具调用或响应听起来是否合理）是危险地不足的。它们将智能体的话语视为地面真值，而地面真值实际上是智能体行动后系统的状态。感知成功与实际失败之间的差异不是舍入误差，而是我们当前评估智能体性能时的系统性盲点。

为什么当前护栏失效

智能体系统的兴起速度超过了有效监督机制的发展。2026年6月提交至arXiv的一篇题为《监督具有容量：将智能体护栏校准到主观、疲劳的人类》的论文指出，标准的人机协同审批门基于两个错误假设。第一，存在“风险”的单一正确定义。第二，人类审查员是一个完美的、无限可用的神谕。研究发现，审查员对什么构成风险行动仅中等程度一致，Fleiss' kappa为0.52。这种主观性意味着监督不仅是分类问题，也是资源分配问题。人类注意力是有限的，随着升级负载增加，实现的安全度呈倒U型。如果审查员疲劳，更多的人类监督实际上可能使系统变得不安全。

这种理论风险正在成为现实。

例如，苹果于10月2日宣布，随着AI智能体的兴起，正在收紧macOS隐私控制。该公司表示，一些开发人员正在以可能危及用户的方式使用完全磁盘访问权限，在未完全知情的情况下暴露文件、邮件、消息和浏览历史。苹果在其开发者网站的博客文章中称：“随着AI智能体变得越来越能力和自主，与此级别访问相关的风险将显著增加。”该公司计划引入额外的控制措施，确保用户只能通过非常明确的行动授予这种非凡的访问权限。这一举措承认当前的权限模式不适合需要广泛系统访问权限才能运行的智能体。

填补验证鸿沟的工具

随着智能体意图与行动之间的差距扩大，新的工具正在出现以应对验证和控制的需求。一个趋势是从审查代码行转向审查意图和护栏。在Spare运营平台工作的Alexey Indeev报告说，他使用一种工作流在两周内合并了562个拉取请求，该工作流中他设定意图，与智能体一起规划，并依赖CI检查和审查机器人等自动护栏。Indeev说：“我审查计划，而不是代码。”这种方法假设护栏足够强大，能够捕捉智能体可能犯下的错误。它将人类角色从逐行检查转移到战略监督和风险管理。

其他开发人员正在构建可视化界面，帮助人类理解智能体在做什么。

Tim Waldin指出，随着模型承担更多工作，人类工作转向理解输出。他提到了Andrej Karpathy的建议，即我们将花更多时间理解模型输出，要求图表、网页或解释视频。Waldin构建了easl，一个原生Mac应用，提供了一个表面，让智能体和人类可以共享状态，如图表、代码和笔记，保持可见和可指向。类似地，More Space项目为终端智能体提供了黑板和头像，实时显示其计划、进度和问题。这些工具试图使智能体的隐形工作可见化，在智能体的内部状态和人类的理解之间架起桥梁。

身份与记忆：新基础设施

验证只是拼图的一部分。智能体还需要稳定的身份和可靠的记忆才能在企业环境中有效运行。将你的密码交给AI智能体是一个常见的捷径，但这创造了安全噩梦。如果智能体行为不当，切断它的唯一方法是更改你自己的登录。来自AgentMail的AgentID提出了一种解决方案：给智能体自己的身份，拥有自己的收件箱和登录密钥，而你被记录为所有者。这使得应用程序能够区分人类和智能体，并可以在不影响人类账户的情况下撤销智能体的访问权限。被泄露智能体的爆炸半径仅限于该智能体，而不是整个人类账户。

记忆是另一个关键组件。

Xinyuan Song和Zekun Cai的一篇题为《长视野智能体中的重尾记忆痕迹》的论文指出，智能体中的记忆使用遵循重尾分布。一小部分核心记忆被频繁访问，而长尾的罕见状态被不频繁访问。在有限上下文窗口下，记忆不是中性的账本，而是资源分配机制。作者提出了一个名为CTWM（核心尾部世界模型）的控制器，通过排名分配提示预算，并用单个指数引导集中度。这使得能够更好地管理记忆资源，确保重要信息不会因上下文窗口的截断而丢失。这项工作的代码在GitHub上可用，标志着向管理长视野智能体复杂状态的开源工具转变。

企业影响

企业部门在将智能体集成到生产工作流时正在应对这些挑战。VB Intelligence的一项调查发现，信任AI智能体独立进行生产变更的企业比例已从75%下降到56%。这种下降反映了对自主行动相关风险认识的增强。公司们意识到，“设置并遗忘”不是适合可以修改数据库、执行代码和访问敏感数据的智能体的可行策略。他们正在转向更受控的环境，配备严格的护栏、持续监控和明确的问责结构。

工具环境正在演变以满足这一需求。

像Kimchi这样的平台提供硬性预算上限、实时支出归属和零模型数据外泄，在请求到达模型之前强制执行。这种级别的控制对于需要管理成本并确保数据隐私的企业至关重要。Spawned为智能体提供云基础设施接口，允许它们向AWS、GCP或Azure账户部署真实基础设施。通过提供声明性框架，Spawned有助于防止配置错误，并确保智能体在定义的边界内工作。这些工具反映了一个更广泛的趋势，即将智能体视为独立的运营实体，拥有自己的预算、身份和权限，而不是人类用户的延伸。

前进的道路需要思维方式的转变。我们必须停止将智能体视为魔法神谕，开始将它们视为需要严格工程、测试和监督的软件系统。ThinkingBox基准测试是这一方向的第一步，提供了一种衡量智能体声明与智能体行动之间差距的方法。随着这一差距变得更加可见，验证工具、身份系统和记忆管理框架的发展将加速。企业AI的轨迹不会由智能体有多聪明决定，而是由我们如何验证、控制和理解它们决定。盲目信任的时代结束了。经过审计的智能体时代开始了。