小型决策模型走向端侧，Jev 式运行器不断增多

Liquid AI 的 d1 文档于 9 月 29 日上线。它将每次查询归入三种带类型的形式之一：noul 是非题，返回 0 到 1 之间的概率；choice 是在若干具名选项中选一的分布；score 是在有序评分标准上按概率加权的位置。文档举例，一条客户投诉在 noul 门控上返回 0.999。同一请求可同时携带多个问题并行评估。这正是端侧开发者期待已久的形态。

为何在手机或笔记本上重要，答案在于算术。模型只输出一个数字而非一段文本，便完全跳过解码循环，延迟不再随答案长度增长。输出因此可被阈值化：0.92 的概率是分支条件，无需解析器解读。

9 月 29 日在 Hugging Face 发布的 Qevi-2B 是最清晰的小模型案例。它是 Qwen3-VL-2B-Instruct 的完整微调版本，回答图像相关的带类型封闭问题时，读取回复位置 LM head 的 logits，而非生成文本。模型卡显示，域内准确率 0.977，基座 Qwen3-VL-2B 为 0.855；留出域准确率 0.889，基座为 0.745；留出数据上的期望校准误差 0.054，基座为 0.160。

模型卡直言其局限：这些数字仅能通过 logit 读取复现，约 30 行普通 transformers 代码即可实现。调用 .generate() 无法得到相同结果，因为微调时并未走该路径。它还警告，该模型并非聊天模型。询问图像中是否有梯子，它返回 P(Yes) = 0.97，而非句子。其宣称的收益是：针对单张图像提出多个问题时，推理速度最多提升约 21 倍。三个独立问题可共用一次编码，通过块对角注意力掩码隔离，并已与逐个提问的结果做过逐位验证。训练数据涵盖 57000 个 noul 问题和 28500 个 choice 问题。

推理能力让小模型重回赛道

最直接的质疑是准确率。Jev 式分类器便宜且经过校准，但正如某实现所述，它们在低准确率场景下表现较弱，因此流水线通常保留推理模型作为兜底。PostHog 于 9 月 29 日推送的 Jeeves 仓库直接应对此问题：一个 9B 类 Jev 模型（Qwen3.5-9B、LoRA、指针头），先思考再决策，采用 SFT 和 CISPO 训练，外加 block-4 扩散起草器。公开表格显示，Jeeves 在留出测试数据上得分 0.889，Jev 为 0.857，Kev-9B 为 0.822；在 JevBench 公开层级上，Jeeves 得 0.935，Jev 为 0.866。在单张 H100 上以 fp8 精度运行，不思考时每次请求约 0.3 秒，思考时中位数 3.3 秒。该模型支持在 Apple Silicon 上以 bf16 或 FP8 运行。

Sebastian Raschka 于 9 月 29 日发表的文本分类史梳理了这波浪潮，从词袋和朴素贝叶斯，经 RNN 和 transformer，直至他所谓的类 Jev API。他认为 Jev 的优势在于分类任务的速度与成本，而非原始能力。Evan Schwartz 同日撰文，将部署场景具体化：他在 Scour 上每月对约 110 万份文档运行 54 个问题，问题约占输入 token 的 88%，总账单保持在每月 150 美元以下。他向厂商要求提供提示缓存或可复用的问题集。

并非所有人都相信这些输出可信。Casco 用 2449 条安全发现对照其公布的 CVSS 3.1 分数测试了八个模型，发现所有模型均高估了严重程度。Jev 给仅含 55 条公布严重发现的数据集打了 550 个 critical 分，平均带符号误差为 +3.30 分；GPT-6 Astra 最准，平均绝对误差 1.92 分，Jev 以 3.40 分排第七。同样的过度诊断风险，适用于任何按阈值触发的端侧门控。

基础设施也在跟进。微软开发者博客于 9 月 29 日指出，公开编程基准无法预测模型在自有代码库上的表现，这与小决策模型需在自有输入上评估的逻辑一致。JuliaHub 同日报告，在模型不变的情况下更换 agent 运行框架，分数从 0.533 升至 0.899，比其测得的四个前沿模型间差距还大一倍多。Tuneloop 为评估本身定了数：重放 30 个任务、花费约 55 美元，即可将差距锁定在正负 6 分以内。这足以支撑将例行工作以 2.5% 的成本路由给更便宜的模型。对端侧分类器而言，这就是决定小模型能否上线的关键测试。