追踪器显示：新发布的AI模型携带数月前的训练数据

这个页面叫“你的AI有多旧”。它只做一件事：在20个模型名称旁列出两个日期，并计算它们之间的时间差。发布日期是实验室发布模型的时间，训练截止日期则是模型停止读取数据的时间。据该网站称，列表中20个模型里有10个带有其实验室实际公布的截止日期。

这就是基准测试论点的缩影。模型发布时按发布时运行的基准测试评分，但截止日期之后的一切内容，模型都不知道。追踪器举了个例子：GPT-6 Astra于2026年9月3日发布，其训练数据截止于2026年4月30日。发布当天，它已经落后四个月。

日期显示了什么

看那些两个日期都存在的条目。Llama 4于2025年4月5日发布，截止日期为2024年8月。Claude Haiku 4.5于2025年10月15日发布，截止日期为2025年7月。Gemini 3.1 Pro于2026年2月19日发布，截止日期为2025年1月，差距超过一年。Claude Sonnet 5（2026年6月30日，2026年1月）、Claude Fable 5.1（2026年9月1日，2026年6月）、GPT-6 Astra（2026年9月3日，2026年4月30日）、Grok 4.7（2026年9月21日，2026年5月）、Claude Opus 5.5（2026年9月22日，2026年6月）、GPT-6 Sol（2026年9月22日，2026年4月20日）和GPT-6 Luna（2026年9月22日，2026年5月18日）构成了已公布的数据集。

另外十行是空白的。Mistral Large 3、Mistral Small 4、Mistral Medium 3.5、Qwen3.8-Max、Muse Glimmer、DeepSeek V4-Pro、Qwen3.8-Flash、Gemini 3.8 Flash、Muse Spark 1.3和DeepSeek V4.1-Flash均显示“未确定”。该网站对“未确定”的含义很谨慎：空白意味着所查的供应商来源未确定该模型的截止日期，并非证明实验室从未公布过。八家实验室中，Anthropic、Google DeepMind、Meta、OpenAI和xAI这五家至少有一个模型在页面上有已公布的截止日期。

训练截止日期是模型停止读取的日期。在那之后发生的一切，模型都不知道。模型可以在9月发布，但读取数据在4月就停了，这意味着发布当天它已经落后五个月。

该页面最有趣的论断其实与日期无关，而是关于当你给模型一个搜索按钮，并让它决定是否使用时会发生什么。作者报告了16个模型共2000次调用，每个模型都持有一个网页搜索工具。在该次运行中，前沿模型几乎每次都做出了正确决定。较弱的模型在答案已改变后，仍凭记忆回答既定问题，并为水的沸点之类的事情搜索网络。在该页面的一个表述中，16个模型被问及挪威国王是谁，其中五个模型指出了一个已故的人。

仔细读这句话。搜索决策运行在持有陈旧事实的同一组权重上，因此失误恰恰发生在模型感觉最确定的地方。搜索工具掩盖了差距，但没有消除它。打开一个新聊天，模型又回到了它的截止日期。

基准测试的尴尬之处

这影响着发布基准测试的解读方式。一个模型可以在9月登顶排行榜，而这些问题在4月之前就已确定答案，且运行评估的人并不检查模型卡片上的截止日期。如果实验室不公布截止日期，追踪器的空白就是诚实的答案：实验室之外没有人能衡量这个差距。

还有第二层问题。模型是关于模型的糟糕信息来源。直接问它训练截止日期是什么，表现良好的模型会回答或表示不确定，据该页面所述。一个编造自信日期的模型，已经向你透露了关于它自己的一些有用信息。发布日期、版本号以及哪个模型是当前的，全部止步于截止日期，而错误的答案听起来依然很自信。

建议的修复方案很小且实用。在代理已经读取的AGENTS.md或CLAUDE.md文件中加几行文字，告诉它在提及任何模型、版本或日期为当前状态之前，先获取该网站的models.json，并将任何附带日期的内容视为未经验证，直到检查为止。该导出包含每个模型的发布日期、已公布的截止日期和来源链接，并在页面更新时重新生成。页面托管了措辞，可直接粘贴。

这些都不是通常意义上的基准测试。没有分数，没有排行榜，也没有实验室提交的运行。这是一张日期表和JSON导出，附带一个论点：模型卡片上的第二个日期值得与第一个日期受到同样的审视。

对于任何比较同一周发布的两个模型的人来说，追踪器增加了一个大多数发布报道会跳过的问题：每个模型何时停止读取，实验室是否费心说明了这一点？