Selbst gehostete Inferenz: Hier ist der Kostenvorteil am größten

Nexlab veröffentlichte die Übersicht am 20. September. Sie stellt LocalAI, exo, GPUStack, Xinference, Ollama, vLLM und CoderAI anhand der Punkte gegenüber, die Käufer interessieren: Mehrmaschinen-Support, cache-bewusstes Routing, Cloud-Burst und Training. Die Sternzahlen stammen von der GitHub-API vom selben Tag, die Funktionsdetails aus den READMEs und Dokumentationen der Projekte. Wo der Autor etwas nicht bestätigen konnte, steht das in der Zelle, statt zu raten.

Die Rangfolge überrascht. Ollama mit 181.000 Sternen ist die richtige Wahl für einen Laptop oder einen Desktop, mehr nicht: eine Maschine, ein Modell zur Zeit. Ein Cluster existiert nur, indem Open WebUI mehrere Ollama-URLs reihum anspricht. Wer mehr braucht, wird im Artikel dazu aufgefordert, hier aufzuhören zu lesen. Mozillas llamafile steht in derselben Spalte: eine einzelne ausführbare Datei für Linux, macOS, Windows und die BSDs, konstruktionsbedingt für eine Maschine.

Die Projekte, die tatsächlich Hardware überspannen, sind im Betrieb teuer. vLLM nutzt Tensor- und Pipeline-Parallelität über Ray sowie Prefix-Caching pro Instanz, verwaltet aber keine Modelle, Nutzer oder Platzierungen. llama.cpp mit 129.000 Sternen reicht über Rechner hinweg, mit einem rpc-server auf jeder Maschine und einem --rpc-Flag auf dem Host. Keines von beiden ist ein Orchestrierer im Sinne der meisten Käufer. Sie sind die Basis, auf der LocalAI, GPUStack, Xinference und CoderAI laufen.

Die macOS-Ausnahme und die Linux-Lücke

exo erhält die stärkste Einzelempfehlung. Zero-Config-Erkennung, Ring-, Pipeline- und Tensor-Aufteilung proportional zum Speicher jedes Geräts, MLX als Basis und RDMA über Thunderbolt 5 auf neueren Macs. Der Anbieter nennt eine 3,2-fache Skalierung auf vier Geräten für Tensor-Parallelität. Stand September 2026 läuft exo unter Linux jedoch nur auf der CPU. NVIDIA- und AMD-Unterstützung sind in Entwicklung, und es bedient Sprachmodelle; Bildgenerierung steckt hinter einem Feature-Flag. Das Urteil der Übersicht ist klar: Bei Apple-Silicon-Hardware kommt nichts anderes heran. Bei anderer Hardware ist exo noch nicht geeignet.

LocalAI ist die breiteste Allzweckoption. Text, Bild, Video, Audio, Embeddings und Rerank, jedes Backend ein gRPC-Dienst im eigenen OCI-Image, keine GPU nötig, Helm-Charts und seit Juni 2026 ein echter verteilter Modus. Ein --p2p-Flag erzeugt ein gemeinsames Token, Instanzen finden sich über libp2p und EdgeVPN, Anfragen gehen an den am wenigsten ausgelasteten Knoten, und ein NATS-basierter v3-Router kennt VRAM und Prefix-Caches. Backend-Images sind mit cosign signiert. Was LocalAI nicht tut: GPUs mieten, Nicht-LLM-Anfragen über Maschinen aufteilen oder trainieren. Der rohe LLM-Durchsatz liegt um einige zehn Prozent unter dem einer dedizierten Engine, schreibt der Autor, weil die Allgemeinheit ihren Preis hat.

GPUStack und Xinference fasst die Übersicht als Supervisor-Worker-Designs mit Web-Konsolen zusammen. Beide werden von Firmen getragen und sind laut Autor in Asien als Cluster im Einsatz. GPUStack mit 5.700 Sternen ist betriebsnäher: Nutzer und Rollen, API-Schlüssel mit Abrechnung, Prometheus und Grafana, automatische Wiederherstellung ausgefallener Modelle, Ray-Worker-Logs in der Oberfläche und Unterstützung für neun Beschleunigeranbieter, darunter Ascend, Hygon und MThreads. Xinference mit 9.600 Sternen ergänzt einen gemeinsamen KV-Cache über Replikate, wenn vLLM im Backend läuft.

Es sitzt vor hundert Anbietern und den eigenen Endpunkten, mit Schlüsseln, Budgets und Ausgabenverfolgung, und führt selbst nie ein Modell aus.

Diese Zeile beschreibt LiteLLM. Die Übersicht stellt fest, dass es oft fälschlich für eine Self-Hosting-Lösung gehalten wird. Das ist es nicht. Es leitet zwischen Endpunkten und zu Clouds weiter und führt selbst keine Gewichte aus.

Die beiden Einträge mit der stärksten Produktionsausrichtung drehen sich nicht primär um Kosten. NVIDIA Dynamo mit 8.100 Sternen und llm-d mit 4.600 betreiben disaggregiertes Prefill und Decode mit KV-bewusstem Routing und verlangen beide Kubernetes auf NVIDIA-Hardware. SkyPilot und dstack mit 10.600 und 2.300 Sternen planen Jobs über Cluster hinweg und können in die Cloud ausweichen. Das ist ein anderes Problem als das effiziente Bedienen eines Modells. CoderAI, neu und ohne Sterne, ist das eigene Projekt des Autors, offen benannt. Es verspricht modellbezogenen, budgetierten Cloud-Burst plus verteiltes LoRA, mit cosign-signierten Images unter Linux CUDA und Vulkan.

Zwei Projekte werden nur genannt, um ausgeschlossen zu werden. Petals erhielt den letzten Commit 2024. Hugging Face TGI wurde im März 2026 archiviert. Die Übersicht merkt an, dass vLLMs production-stack die einzige Kubernetes-Option in der Tabelle ist, die unter den Engines selbst als produktionsreif markiert ist. Signierte Images sind selten: LocalAI und CoderAI nutzen cosign, der Großteil des Feldes nicht.

Für Teams, die abwägen, wohin das Inferenz-Geld fließt, bietet die Übersicht keine Preistabelle. Sie bietet etwas Unbequemeres: eine Karte, welche Orchestrierer eine zweite GPU tatsächlich nutzen können, welche nicht, und welche das in der eigenen Dokumentation sagen.