自托管推理的成本差距最大，而非 API 定价

Nexlab 于 9 月 20 日发布这份调查，将 LocalAI、exo、GPUStack、Xinference、Ollama、vLLM 和 CoderAI 放在买家真正关心的维度上对比：多机支持、缓存感知路由、云端突发和训练。星标数取自同一天的 GitHub API，功能描述来自项目自身的 README 和文档。作者无法确认的地方，表格中直接注明，不做猜测。

排名结果并非采购 PPT 所能预测。Ollama 拥有 181000 颗星，被描述为笔记本或单台台式机的正确选择，仅此而已：一台机器，一次运行一个模型，除了通过 Open WebUI 在多个 Ollama 地址间轮询外，没有集群方案。需要更多能力的人，建议在文章该处停止阅读。Mozilla 的 llamafile 属于同一类别，单个可执行文件覆盖 Linux、macOS、Windows 和 BSD，设计上仅支持单机。

真正能跨硬件的项目，运营成本也高。vLLM 通过 Ray 实现张量和流水线并行，每个实例执行前缀缓存，但不管理模型、用户或调度。llama.cpp 拥有 129000 颗星，在每台机器上运行 rpc-server，主机端使用 --rpc 参数实现跨机器通信。两者都不是多数买家所指的编排器。它们是 LocalAI、GPUStack、Xinference 和 CoderAI 底层运行的组件。

macOS 的例外与 Linux 的缺口

exo 在文中获得了最有力的单项推荐。零配置发现，ring、流水线和张量分区按每台设备的内存比例分配，底层基于 MLX，近年 Mac 还支持 Thunderbolt 5 上的 RDMA。厂商给出的数据是四台设备做张量并行时达到 3.2 倍扩展。但截至 2026 年 9 月，exo 在 Linux 上仅支持 CPU，NVIDIA 和 AMD 支持标注为开发中，且仅服务语言模型，图像生成功能隐藏在开关之后。调查结论很直接：如果硬件是 Apple Silicon，没有别的能接近它；如果不是，exo 目前还不适合你。

LocalAI 是通用选项中覆盖面最广的。支持文本、图像、视频、音频、嵌入和重排，每个后端都是独立 OCI 镜像中的 gRPC 服务，无需 GPU，提供 Helm chart，自 2026 年 6 月起具备真正的分布式模式。--p2p 参数生成共享令牌，实例通过 libp2p 和 EdgeVPN 互相发现，请求转发至负载最低的节点，基于 NATS 的 v3 路由器能感知 VRAM 和前缀缓存。后端镜像使用 cosign 签名。它做不到的事：租用 GPU、将非 LLM 请求拆分到多台机器、训练。作者写道，原始 LLM 吞吐量比专用引擎低几十个百分点，因为通用性是有代价的。

GPUStack 和 Xinference 被归为带 Web 控制台的 supervisor-worker 设计，背后都有公司支持，也是作者在亚洲看到实际部署成集群的两款。GPUStack 拥有 5700 颗星，更偏运维：用户和角色、带计量的 API 密钥、Prometheus 和 Grafana、失败模型自动恢复、UI 中显示 Ray worker 日志，支持九家加速器厂商，包括昇腾、海光和摩尔线程。Xinference 拥有 9600 颗星，在后端运行 vLLM 时，增加了跨副本的共享 KV 缓存。

它位于一百家供应商和你自己的端点之前，管理密钥、预算和支出跟踪，自身从不运行模型。

这句话指的是 LiteLLM，调查称它常被误认为是自托管方案。它并不是。它在端点之间以及云端之间做路由，自身不运行任何权重。

两个最强调生产环境的条目，主要关注点并非成本。NVIDIA Dynamo 拥有 8100 颗星，llm-d 拥有 4600 颗星，执行分离式 prefill 和 decode，配合 KV 感知路由，两者都要求 NVIDIA 硬件上的 Kubernetes。SkyPilot 和 dstack 分别拥有 10600 和 2300 颗星，将任务调度到多个集群，并可突发到云端，这与高效服务模型是不同的问题。CoderAI 很新，没有星标，是作者自己的项目，文章开头已披露，声称支持按模型预算的云端突发和分布式 LoRA，在 Linux CUDA 和 Vulkan 上提供 cosign 签名镜像。

有两个项目被点名仅为排除。Petals 最后一次提交是在 2024 年。Hugging Face TGI 在 2026 年 3 月被归档。调查还指出，vLLM 的 production-stack 是表中唯一被标为生产就绪的 Kubernetes 选项，而签名镜像很罕见：LocalAI 和 CoderAI 使用 cosign，该领域大多数项目不使用。

对于正在权衡推理预算去向的团队，这份调查没有提供价格表。它提供的是更令人不安的内容：一张图，说明哪些编排器真的能用上第二块 GPU，哪些不能，以及哪些会在自己的文档中明确告知。