Inferenzkosten: Was GPU-Stundenpreise verbergen

Vergleichsseiten vermehren sich schneller als die Rabatte. Am 1. Oktober teilte GPUAdvisor mit, sein Preistracker decke 14 Anbieter und alle wichtigen Beschleuniger ab. Über der Tabelle steht eine Warnung: Die Preise sind Näherungswerte, variieren je nach Region und Verfügbarkeit und basieren auf Schätzungen von September 2026. Das ist der Marktstand. Der Listenpreis ist ein Ausgangspunkt, keine Rechnung.

Meetrix veröffentlichte am 29. September einen eigenen Vergleich. Die Preise wurden am 28. September für On-Demand-Instanzen in US East und us-central1 geprüft. Das Ergebnis ist klar: AWS ist laut Liste günstiger bei H100 oder A100, GCP ist etwas günstiger, wenn eine einzelne L4 reicht. Eine H100 kostet bei AWS 6,88 Dollar pro Stunde, bei GCP 10,98 Dollar.

Auslastung schlägt Cloud-Wahl

Derselbe Text untergräbt dann seine eigene Schlagzeile. Meetrix rechnete mit einem angenommenen Durchsatz von 2.500 Ausgabe-Tokens pro Sekunde. Die Kosten pro Million Tokens steigen bei der AWS-H100 von 0,76 auf 3,06 Dollar, wenn die Auslastung von 100% auf 25% fällt. Bei der GCP-H100 reicht die Spanne von 1,22 bis 4,88 Dollar. Der Artikel stellt klar, dass die Durchsatzzahl eine Annahme ist, keine Messung, und dass die Verhältnisse zwischen den Zeilen unabhängig davon sind.

Eine Ersparnis von 37% durch den Cloud-Wechsel ist willkommen. Sie ist kleiner als die Kosten für einen ungenutzten Nachmittag. Meetrix nennt ein Datenproblem: Die GPU-Preisseite von Google rendert die Tabelle clientseitig, der Autor konnte sie nicht programmatisch auslesen. Drei Tracker nannten 87,83 Dollar für die a3-highgpu-8g, ein vierter 88,49 Dollar. Diese Abweichung sollte man benennen, nicht mitteln.

Auf der günstigen Seite gibt es eine strukturelle Hürde. AWS verkauft die A100 nur in 8-GPU-Formen: p4d.24xlarge mit 40-GB-Karten und p4de.24xlarge mit 80 GB. Eine einzelne A100 bedeutet also die a2-highgpu-1g von GCP, obwohl dort jede GPU teurer ist. Meetrix beziffert die AWS-8-GPU-A100 auf 21,96 Dollar pro Stunde, 2,75 Dollar pro GPU, gegenüber 3,67 Dollar bei der GCP-Form mit einer GPU.

Reservierte und Spot-Preise machen das Bild komplizierter. Meetrix berichtet, dass eine dreijährige Reservierung bei AWS 54% bis 57% spart. Spot-Rabatte bei H100 oder A10G liegen bei 53% bis 62%, bei L40S bei 1%. Außerdem senkte AWS die On-Demand-Preise für P4d und P4de um 33% und für P5 um 44%, gemessen an den Preisen vom 31. Mai 2025.

Eines ist gestiegen: EC2 Capacity Blocks for ML, bei denen man GPUs für ein festes Zeitfenster reserviert. The Register meldete im Januar 2026 einen Anstieg um etwa 15%, p5e ging von 34,61 auf 39,80 Dollar pro Stunde.

Dasselbe Modell bei drei Anbietern

Die andere Hälfte der Inferenzkosten hat mit der GPU nichts zu tun. Unblocked berichtete am 29. September über das Routing von Open-Weight-Traffic über Baseten, Fireworks und CoreWeave. Alle drei bieten GLM 5.2 an, zu unterschiedlichen Preisen und Geschwindigkeiten. Der erste Aufbau, Round-Robin, schickte in der letzten vollen Woche 51% der Aufgaben an Fireworks und 49% an Baseten, obwohl Fireworks 25% mehr verlangte und langsamer lief.

Eine feste Reihenfolge löste das: 98,5% der Aufgaben gingen an Baseten, 1,5% an Fireworks. Dann kamen die betrieblichen Probleme. Eine Änderung der Reihenfolge erforderte eine Codeänderung und ein Deployment. Der Circuit Breaker wertete fünf 429er in einer Minute als kompletten Ausfall. Die Listenpreise von CoreWeave, etwa 45% unter denen von Baseten, blieben ungenutzt, weil niemand Leistungsdaten hatte. Der Ersatz bewertet jeden Anbieter nach Kosten und Geschwindigkeit, gewichtet mit 0,7 und 0,3, und verschiebt den Traffic ohne Ingenieur. Der Beitrag verweist auf das eigene Produktions-Token-Ledger und die Logs als Quelle der Zahlen.

Das Token-Verhalten auf Modellebene schlägt direkt auf die Rechnung durch. Artificial Analysis berichtete am 29. September, dass Claude Sonnet 5.5 im Intelligence Index 56 Punkte erreicht. Das sind zwei Punkte hinter Opus 5.5 mit maximalem Aufwand. Aber Sonnet 5.5 verbraucht rund 193.000 Ausgabe-Tokens pro Indexaufgabe. Das nennt das Unternehmen den höchsten Token-Verbrauch, den es gemessen hat: etwa 60% über Opus 5.5 und rund 7x GPT-6 Astra mit maximalem Aufwand. Sonnet 5.5 kostet 2 Dollar pro Million Eingabe- und 10 Dollar pro Million Ausgabe-Tokens, unverändert gegenüber Sonnet 5. Artificial Analysis kommt auf 7,60 Dollar pro Aufgabe, rund 50% mehr als Sonnet 5. Das Unternehmen weist darauf hin, dass die Bewertungen auf einem Vorab-Deployment liefen, in dem ein Fehler strukturierte Ausgaben betraf, der für die öffentliche Version behoben wurde.

Wohin das Geld stattdessen fließt

Der IPO-Prospekt von Anthropic, den Reuters einsehen konnte und über den CNBC am 29. September berichtete, liefert die Nachfrageseite dieses Marktes in einer Zeile: 7,33 Milliarden Dollar für Compute und Infrastruktur im Jahr 2025. Das ist eine Verdreifachung gegenüber 2024 und mehr als die Hälfte von 12,65 Milliarden Dollar Gesamtbetriebsausgaben. Dieselbe Einreichung nennt 518 Milliarden Dollar an Verpflichtungen für Cloud, Computing und Infrastruktur in den kommenden Jahren sowie einen Nettoverlust von 42 Milliarden Dollar für 2025.

Der Speicher ist die Knappheit, die anderswo sichtbar wird. Yahoo Finance berichtete am 30. September, dass Apples neuer Vorstandsvorsitzender John Ternus kleinere Entlassungen und Projektstreichungen plant, laut einem Bericht von Bloomberg, während die Speicherkosten steigen. Der Artikel zitiert den früheren CEO Tim Cook, der in seiner letzten Telefonkonferenz zu den Quartalszahlen von einer Jahrhundertflut bei den Speicherpreisen sprach. Außerdem nennt er SK Hynix, Samsung und Micron, die einen Großteil ihrer Premium-Kapazität für KI-Speicher bis 2026 ausverkauft haben.

Nichts davon macht die GPU-Tabelle pro Stunde falsch. Es macht sie unvollständig. Die Formulierung von Meetrix ist die ehrliche: Auslastung optimieren, bevor man sich festlegt, und eine Spalte von oben nach unten lesen statt quer. Kein Cloud-Wechsel bringt die Ersparnis, die ein ungenutzter Nachmittag kostet.