推理成本工具增多,GPU 价格依旧不透明
9月23日,一款浏览器计算器上线,在相同假设下对比了27个模型的推理成本。作者提醒,结果只是规划估算,并非厂商报价。几天后,另一项基准测试将运行单一模型一小时的成本置于聚光灯下。

推理成本争论的最新进展不是定价公告,而是一个计算器。Flavio Copes 于9月23日发布 Inference Cost Calculator,在相同假设下对 OpenAI、Anthropic、Google、xAI、Mistral、OpenRouter 和 Workers AI 的27个模型进行排名。
用户需输入日活跃用户数、每人调用次数、每次调用的输入与输出 token 数,以及可选的提示缓存命中率。工具输出月度账单。它同时警告,数据源自公开 API 费率,未包含批量定价、企业折扣、图像或工具附加费,也不含自建缓存层。
这一免责声明比排名本身更关键。
为“一小时思考”定价的基准测试
9月26日,StarSkirmish 发布了另一种成本对比。基准测试给每个 LLM 一小时时间,用 C++ 编写《星际争霸:母巢之战》的 Protoss 机器人,随后让机器人互相对战,并与人类编写的对手交手。参赛阵容包括来自10个模型的50个 LLM 机器人、3个演示机器人和9个竞赛级人类编写机器人,共62个参赛者,运行在 Prime Intellect 沙箱中。
根据项目说明,GPT-6 Astra 与 Claude Opus 5.5 在榜首实际上打平,GPT-6 Sol 与它们同列,明显高出其余选手一档。该基准还以对数刻度绘制得分与单次一小时运行平均 API 成本的关系,指出 GPT-6 Sol 在此对比中性价比独特。
这是按能力计算成本,而非按 token。作者也承认局限:当前最先进的推理模型从超过一小时的推理时长中显著获益,更长时间的运行版本已在计划中。
公开数字为何难以信任
上述两个来源均未提供 GPU 价格。关于这一点,档案中包含 Nexlab 于9月20日发布的调研,对比了 LocalAI、exo、GPUStack、vLLM、Ollama、Xinference 和 CoderAI 等自托管编排器。星标数取自9月20日的 GitHub API。作者明确表示,无法确认的功能在表格中如实标注,而非猜测。
该调研的核心区分与价格无关。它关注三点:模型能否跨越多台机器;后续回合是否路由至 KV 或前缀缓存所在位置;服务器能否自行租用 GPU。在92000 星标的快照中,vLLM 支持基于 Ray 的张量并行、流水线并行及按实例的前缀缓存。拥有 181000 星标的 Ollama 一次仅支持单台机器上的单个模型,除在 Open WebUI 后轮询多个 URL 外,无集群方案。
资金流向硬件而非软件。巴西光伏市场并非 AI 故事,但 pv magazine 于9月26日报道,据 Greener 分布式能源解决方案研究,2026年1月至6月,该国 300 kW 以下项目的平均光伏系统价格上涨7%。4 kW 系统套件成本上涨18.3%,从 1.42 雷亚尔/瓦升至 1.68 雷亚尔/瓦。
不同的大宗商品,同样的问题:头条数字变动,源于组件价格波动。
研究对输出端的看法
成本图景的需求端还有一块拼图。一篇9月14日提交至 arXiv、9月17日修订的论文 SlopShape,描述了一种包含 214 个特征的检测工具,仅凭结构特征即可识别 AI 生成的商业网页内容。该工具由 LLM 应用,并经人工标注验证,在留出公司上达到 98.0 的 macro-F1;当所有 AI 帖子被其自身模型改写后,该值为 98.1。作者是 Sitefire 的 Jochen Madler。
推理成本降低导致文本产出增加。识别这些文本已成为一项具有公开准确率的可测量任务,这本身构成一种基础设施成本。
这些来源在“推理应花费多少”上并未达成一致,因为它们测量的对象不同。计算器衡量假想账单,基准衡量每小时 API 支出对应的能力,编排器调研衡量功能而非发票。应将任何单一数字视为起始假设。
资料来源
5- 01Inference Cost CalculatorEN
- 02StarSkirmish BenchEN
- 03Self-hosted inference orchestrators compared: LocalAI, exo, GPUStack, vLLMEN
- 04PV system costs increase by 7% in Brazil in H1EN
- 05SlopShape: Identifying AI-Generated Commercial Web ContentEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。