推理成本走向 AI 技术栈中心，新引擎接连发布

GitHub 记录显示，Magnitude 于 9 月 30 日 17:37 UTC 发布仓库。定位很具体：面向智能体的推理引擎，在运行设备上编译并调优内核。公司称性能比 llama.cpp 快最多 2 倍，其中苹果 Metal 后端解码快 92%，CUDA 上快 19%。

这是厂商基准，目前无人复现。仓库未列出数字背后的模型、提示长度或批大小。在独立验证前，2 倍只能算宣传数字。

更关键的是瞄准点。Magnitude 提供桌面应用，接入用户已有的智能体，包括 Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi 和 Cline。其他工具走 OpenAI 兼容 API。据仓库，引擎支持苹果芯片、NVIDIA 或 AMD GPU，也可仅用 CPU。公司还称每个智能体内存减少 27%，智能体停止时释放；多会话共享前缀缓存，避免并发延迟。

同一周，技术栈的另一层

9 月 30 日两小时后，第二个发布落地。Full Stack Data Lab 发博客介绍 Quail，一个基于 Modal 构建的查询感知推理层。Modal 同日 17:38 UTC 也发了文章。Quail 针对 AI-SQL，即在 SQL 查询中逐行调用语言模型。

数字大，说法直白。Full Stack Data Lab 称，单个查询可能产生数十万甚至数百万次模型调用，因为 AI 函数每行评估一个提示，朴素连接每对行评估一个提示。在名为 BIO-4 的基准查询中，5000 份医疗报告与 4144 个反应术语连接，实验室推演了将这些调用作为独立请求发给 vLLM 等通用引擎的成本。

Modal 文章给出结果：在多连接查询中，Quail 在单块 H100 GPU 上每分钟处理超十亿 token，同硬件下比 vLLM 基线快 10 倍以上，Modal 上每十亿 token 成本低于 6 美分。在新基准中，Modal 称 Quail 比 vLLM 快 1.84 倍（各任务几何平均）。文章指出，基准集包含两个查询，旨在展示 AI-SQL 推理仍需改进之处。

I see it as a point on the LLM pareto optimal curve in a regime that had a large revealed latent demand (no thinking, single token, low latency acceptable intelligence) that was under-invested into because of a race to higher intelligence. Karpathy-san, on Jev

此引文出自 Modal 文章，标注为 Karpathy 对 TypeSafe AI 的 Jev 模型的评论。论点在于：大量推理需求位于低成本、低延迟端，却因实验室追逐前沿能力而未被充分满足。Magnitude 和 Quail 均押注于此缺口。

两篇文章均未经同行评审，均为伴随代码发布的企业博客。比较基线分别选为 llama.cpp 和 vLLM，由作者自行决定。方向一致，但幅度不应视为定论。

电力和价目表说明了什么

本周发表的学术工作指向一个仅靠加速 token 无法解决的相关问题。一篇在 SOSP '26 宣读、日期为 9 月 28 日并收录于 ACM 论文集的论文指出，纯粹为利用率优化 GPU 集群可能增加能耗。作者 Prasoon Sinha、Dimitrios Liakopoulos、Nathan Lemma 和 Neeraja J. Yadwadkar 描述了名为 EnerTune 的系统，它通过解析方法对每个模型的性能和功耗建模，而非对每种配置进行性能分析，并据此将模型打包至共享 GPU。他们报告称，在满足性能目标前提下，能耗比最先进基线降低 1.4 至 2.3 倍，功耗降低 1.3 至 2.6 倍。

再看标价侧。AICostBudget 于 9 月 30 日发布 9 月价格指数，这是以 2026-09-30 UTC 为截止的冻结快照，覆盖 11 家供应商的 81 条公开定价记录。69 条记录的输入价格中位数为每百万 token 1.32 美元，输出价格中位数为每百万 token 6 美元，比值 5.0 倍。通常输出定价占比高于提示输入。

该指数还揭示了成本讨论中常见的误区。58 条可比缓存输入记录中，折扣中位数为 90%；44 条批量定价记录中，折扣中位数为 50%。忽略缓存和批量定价的工作负载比较，描述的是一份大多数客户从未见过的账单，指数对此直言不讳。供应商侧，价格中位数从 Mistral AI 的每百万 token 输入 0.20 美元、输出 0.60 美元（7 条记录），到 DeepSeek 的 0.30 美元和 1.20 美元（3 条），再到 Anthropic 的 5 美元和 25 美元（13 条记录）以及 OpenAI 的 2 美元和 11 美元（18 条）。这些是公开标价中位数，非折后实际价格，且各家记录数量不同，不能视为同口径模型排名。

速度只是成本之一

数据中心之外，延迟具有可测量的物理成本。MindOn 于 9 月 30 日推出 Mind-1 物理 AI 模型，称将机器人推理延迟从 82ms 降至 32ms，使操作任务达到人类水平循环时间。公司解释其重要性的部分最有价值：当末端执行器速度为每秒 3 米时，10ms 延迟对应约 3cm 位移，足以影响精确抓取或插入。MindOn 还指出数据问题：许多机器人操作数据来自遥操作，其速度低于自然人动作，导致模型在学习任务的同时习得了更慢的节奏。

同一时间窗口内还有面向消费者的成本案例。CleanTechnica 于 9 月 29 日报道，Transport & Environment 分析显示，基于柴油平均油耗 6.9 升/100km、纯电动车 20.2 kWh/100km 及电价 0.343 欧元/kWh，欧洲电动车每公里运行成本不到柴油车一半。T&E 的 Antony Froggatt 在文中表示，柴油车主每箱油比年初多付 32 欧元，并警告若美国阻止柴油出口，供应存在风险。T&E 指出其充电成本估算可能为上限。

定价页面本身也可能构成成本。Gokhan Kogan 于 9 月 30 日发表第一人称叙述，回顾其在 Pinecone 的经历，称定价页用量计算器因一个被误解的输入，导致估算最高虚高 1000 倍。他写道，A/B 测试中，未看到计算器的访客注册可能性高 16%，联系公司可能性高 90%，且定价相关客服工单未增加。他还提到，内部调查中 7 成员工预计带计算器版本表现更好。这是一家公司的经历，非普遍规律，但提醒人们感知成本与实际成本易产生偏差。

网络层容量经济也在变化。Light Reading 于 9 月 30 日报道，StarHub 和 M1 在新加坡进行合并谈判，两家公司已通过共同拥有的 Antina 共享 5G 频谱和无线接入网。报告显示，6 月 Singtel 占据移动市场 43%，M1 为 22%，StarHub 为 21%，Simba 为 14%。在新西兰，2degrees 和 OneNZ 提议合并无线网络，商业委员会决定预计明年做出。

贯穿这一切的并非推理即将免费，而是本周的优化均瞄准具体瓶颈：消费级硬件上的智能体解码速度、逐行 SQL 调用、闲置 GPU 功耗，每项均配有独立基准测试和厂商。价格指数显示标价本身变动不大。节省的成本在引擎层实现，买家需在自己的工作负载上验证。