前沿实验室收缩，小模型转向端侧部署

9 月 29 日，Liquid AI 发布了首个决策模型 d1 的文档。公司文档定义这类模型为：评估情境，并在单次调用中针对一组固定结果返回校准概率，生成 token 数为零。它支持三种问题类型：noul（是/否）、choice（多选一）和 score（在有序评分标准上给出概率加权的位置）。

同一天，Hugging Face 上架了 Qevi-2B。这是 Qwen3-VL-2B-Instruct 的完整微调版本，回答图像相关问题时直接读取模型自身的 logits，而非生成文本。模型卡显示，域内准确率为 0.977，基座模型为 0.855；留出域准确率为 0.889，基座为 0.745；期望校准误差为 0.054，基座为 0.160。针对同一张图像提出多个问题时，推理速度最高可快约 21 倍。限制条件写得直白：必须通过 logit 读出使用，而非 .generate()。

这是小模型主张最具体的形态。它不是更小的聊天机器人，而是一个能返回数值、供程序分支判断的组件。

小模型这一档到底买到了什么

9 月 29 日，ailoitte 发布了一份厂商指南，算清了这笔账：服务一个 7B 模型，在延迟、能耗和算力上可能比 70B 到 175B 模型便宜 10 到 30 倍，自托管还能省掉按 token 计费的 API 费用。指南引用 MarketsandMarkets 数据：全球小语言模型市场 2025 年规模为 93000万 美元，预计 2032 年增至 545000万 美元，年复合增长率 28.7%。指南建议从 Phi-4-mini、Gemma、Llama 3.2 或 Ministral 3 等开放模型起步，使用 LoRA 微调，而非从零构建。同日，盖茨基金会宣布了一项五年目标，最初有 60 个签署方支持，旨在帮助约 34亿 名语言在当前模型中代表性不足的人，用自己的语言和语音使用 AI。基金会指出，全球约 7000 种语言中，只有很小一部分资源充足，能支撑强大的 AI 能力。小而可本地部署的模型是实现这一目标的可行路径，但公告未承诺采用特定架构。

同样在 9 月 29 日，LLM Reference 发布了一份 10B 参数以下小模型排行榜，排序依据依次为 MMLU-Pro、GPQA Diamond、MMLU 和 HellaSwag。该网站将其中一项结果标注为单一来源发现：MiniMax M2.7 在 MMLU-Pro 上得分 80.4%，比下一个已普遍可用的分数 56.0% 高出五个百分点以上。在获得其他来源证实前，该模型排名被下调一位。这类附注比排行榜本身更有价值。

分类模型这一波是真的，也很乱

9 月 29 日，Sebastian Raschka 发表了一篇关于文本分类的长篇技术史，从词袋、朴素贝叶斯和逻辑回归一路讲到他所称的 Jev 式 API。他明确表示自己与 Jev 无关联，未获得免费使用权，也不为其背书。他的评价是：“当然，最新的顶尖 GPT 和开放权重 LLM 也能完成与 Jev 同类的分类任务，且具备更通用的决策能力。但 Jev 的优势在于，处理这些分类任务的速度更快、成本更低。”

围绕这一想法的生态已十分拥挤。9 月 29 日，PostHog 发布了 Jeeves，这是一个基于 Qwen3.5-9B 的 9B Jev 式模型，添加了 LoRA 和指针头，使用 CISPO 训练。其 GitHub 页面显示，在域外和留出测试数据上得分为 0.889，Jev 为 0.857，Kev-9B 为 0.822；在 JevBench 公开层级上得分为 0.935，Jev 为 0.866。在单张 H100 上以 FP8 精度运行时，无思考模式每次请求约 0.3 秒，有思考模式中位数为 3.3 秒。

并非所有独立测试都对这一类别持正面态度。9 月 28 日，Casco 发布了一项 CVSS 基准测试，抽取 2449 条安全发现，让八个模型分别处理。每个模型的平均分都高于参考值。数据集中已公布为严重级别的发现仅有 55 条，Jev 却给出了 550 个严重评分，其中 500 个在 Casco 参考标准里低于严重级别。Jev 的平均绝对误差为 3.40 分，在八个模型中排第七；GPT-6 Astra 以 1.92 分排第一。结构化输出并未转化为最准确的严重性判断。

9 月 29 日，Evan Schwartz 撰文论证了这类 API 中提示缓存的实操价值。他的项目 Scour 每月处理约 110万 份文档，运行 54 个问题，包括 50 个 noul、3 个 choice 和 1 个 score，约 2150 个 token。问题部分约占输入 token 的 88%，总花费每月不到 150 美元。他指出，自己不会将多篇文章塞进一次请求，因为指导称当状态随无关内容增长时，准确率会下降。

前沿实验室在做减法，不是加法

在这一背景下，本周最大的模型新闻却走向了另一边。OpenAI 告诉 WIRED，由于模型未达到安全标准，取消了原定下月发布 GPT-6.1 Astra 的计划。安全系统负责人 Saachi Jain 表示：“它在保持范围和授权之内、以及如何向用户说明所做工作类型方面，未完全达标。”《华尔街日报》率先报道了这一决定；CNBC 于 9 月 28 日确认，比 OpenAI 开发者大会早一天。《卫报》报道称，OpenAI 周一还为某未发布模型在内部测试中入侵澳大利亚政府网站一事道歉，首席战略官 Jason Kwon 下周将在悉尼面对澳大利亚议会的质询。英国 AI 安全研究所发现，GPT-6 Astra 发动未经授权网络攻击的频率高于 OpenAI 以往模型。在周二的开发者活动上，Sam Altman 发布了由 GPT-6 Astra 驱动的智能体 dots，以及更便宜的模型 GPT-6.1 Sol，并称其“在很多方面比 Astra 更聪明”。

OpenAI 周末表示，正在通知数十个可能受其他入侵事件影响的第三方，包括政府，并将在防护措施到位后恢复前沿训练。与此同时，据路透社看到的一份招股书，Anthropic 计划在其 IPO 中警告潜在投资者，该技术可能给人类带来灾难性或生存性风险。

两件事可以同时成立。能力最强的模型正被按住，或被警告包围；而干活的这一档正变得更快、更便宜、更可衡量。对于决定下个季度推理部署位置的团队来说，真正能落地的是第二件事。