Laut dem Vercel-Bericht zum AI Gateway vom September verarbeiteten Open-Weight-Modelle im August 56 Prozent der über das Gateway geleiteten Tokens, machten aber nur 14 Prozent der geschätzten Ausgaben aus. Die Aufteilung zeigt, dass Nutzungsvolumen und Modellbudget unterschiedliche Geschichten erzählen können. Sie bildet den Datenverkehr eines einzelnen Gateways ab und ist weder ein Maß für den gesamten KI-Markt noch für die tatsächlichen Rechnungen der Kunden.

Bei Minute 20:03 in Folge 290 des Podcasts All-In diskutieren die Teilnehmenden das Tempo neuer Open-Weight- und Premium-Modelle und argumentieren, dass leistungsfähigere herunterladbare Modelle den Zugang erweitern. Das ist ihre Interpretation. Einen gesonderten, enger gefassten Datenpunkt liefert der Vercel AI Gateway Production Index vom September, der den Datenverkehr bis einschließlich August ausweist.

Die große Änderung

  • Was sich geändert hat: Der Anteil von Open-Weight-Modellen am Tokenvolumen des Vercel AI Gateway stieg zwischen Dezember und August von einer Minderheit auf 56 Prozent; zugleich entfielen im August 14 Prozent der anhand von Listenpreisen geschätzten Ausgaben auf sie.
  • Warum das wichtig ist: Teams, die Modelle auswählen, müssen Tokenbedarf und Ausgaben getrennt betrachten und anschließend Qualität sowie gesamte Betriebskosten für ihre Aufgaben vergleichen. Der Index weist weder aufgabenspezifische Ergebnisse noch Einsparungen für ein einzelnes Team aus.
  • Worauf es ankommt: Entscheidend ist, ob ein gewähltes Modell die Anforderungen des Teams an Qualität, Latenz, Datenschutz und Betriebskosten insgesamt erfüllt. Der Tokenanteil allein beantwortet das nicht; auch Lizenzbedingungen, Hardware und Entwicklungszeit spielen eine Rolle.

Was die Angaben von 56 und 14 Prozent messen

Vercel zufolge verarbeiteten Open-Weight-Modelle im August 56 Prozent der über das AI Gateway geleiteten Tokens. Damit entfiel in diesem Monat erstmals die Mehrheit des Gateway-Volumens auf sie. Ihr Anteil an den geschätzten Ausgaben betrug 14 Prozent. Das Diagramm des Unternehmens zeigt einen Anstieg von 13 Prozent im April auf 56 Prozent im August. Der Bericht ist auf den 17. September datiert und verwendet Daten bis einschließlich August.

Die Lücke bedeutet nicht, dass der Betrieb dieser Modelle kostenlos ist. Herunterladbare Gewichte benötigen weiterhin Rechenleistung, Strom und Betriebsaufwand. Aus den gerundeten Anteilen ergibt sich, dass die geschätzten Ausgaben pro Token bei Open-Weight-Modellen in diesem Datensatz etwa ein Achtel der übrigen Modelle betrugen. Berechnet wird dies aus den Vercel-Angaben: 14 Prozent der Ausgaben geteilt durch 56 Prozent der Tokens, im Vergleich zu den verbleibenden 86 Prozent der Ausgaben geteilt durch 44 Prozent der Tokens. Das ist ein Durchschnitt über unterschiedliche Modelle und Tokentypen, kein Preis oder Fähigkeitsmaß für ein bestimmtes Modell.

Der Index zählt Eingabe-, Ausgabe-, Reasoning-, zwischengespeicherte Eingabe- und Cache-Erstellungstokens. Für diese Tokentypen können unterschiedliche Preise gelten; der Durchschnitt einer Gruppe hängt also auch davon ab, was ihre Nutzer eingaben und erzeugten. Vercel schätzt die Ausgaben anhand der veröffentlichten Listenpreise der Labore und weist darauf hin, dass tatsächliche Rechnungen abweichen können. So kann das Unternehmen Daten von Teams vergleichen, die eigene Anbieterschlüssel verwenden. Die Methode ist aber weder eine Prüfung von Rechnungen noch eine Messung der Rechenkosten beim Selbstbetrieb.

Der Bericht sagt außerdem, dass der durchschnittlich geschätzte Preis pro Token über das gesamte Gateway im August um 23,2 Prozent sank. Bei Teams, die sowohl im Juli als auch im August jeweils mehr als zehn Millionen Tokens ausführten, sank der geschätzte Preis pro Token beim Median-Team um 7,6 Prozent. Vercel schreibt einen Teil des Rückgangs dem wachsenden Einsatz von Open-Weight-Modellen zu. Der Bericht isoliert jedoch nicht, welcher Anteil der Veränderung auf diesen Wechsel, eine andere Verteilung der Tokentypen oder geänderte Modelle und Arbeitslasten zurückzuführen war.

Ein Gateway ist nicht der ganze Markt

Der Index umfasst anonymisierten aggregierten Datenverkehr über das Vercel AI Gateway. Er gibt Einblick in tatsächliche Produktionsanfragen, die über diesen Dienst laufen, und ist damit konkreter als eine Modellrangliste oder eine Produktankündigung. Der Bericht belegt jedoch weder, dass die Kunden sämtliche KI-Nutzer repräsentieren, noch legt er eine Stichprobe für den Gesamtmarkt offen oder zeigt die Verbreitung bei Arbeitslasten, die das Gateway nicht nutzen. Die Prozentsätze sind deshalb als Verteilung innerhalb des Vercel-Gateways zu verstehen.

Vercel weist auch darauf hin, dass die aktuelle Liste der AI-Gateway-Modelle maßgeblich für die Einstufung als Open-Weight ist und weiter gefasst ist als die Definition in früheren Berichten. Frühere Werte können sich ändern, wenn Vercel seine Methodik überarbeitet und vollständigere Daten erhält. Der Monatsverlauf ist aufschlussreich, doch der Bericht selbst weist darauf hin, dass sich die Kategoriegrenze verschoben hat.

„Open Weight“ ist außerdem nicht gleichbedeutend mit „Open Source“. Modellgewichte sind gelernte numerische Parameter, die zum Herunterladen bereitgestellt werden können. Die Open Source AI Definition 1.0 der Open Source Initiative legt einen umfassenderen Maßstab an: Sie verlangt die Freiheit, ein KI-System zu verwenden, zu untersuchen, zu verändern und weiterzugeben. Als Bestandteile der bevorzugten Form zur Modifikation nennt sie Informationen zu Trainingsdaten, Code und Modellparameter. Für herunterladbare Checkpoints können weiterhin Lizenzbeschränkungen gelten oder Trainingscode und Angaben zu Daten fehlen. Teams sollten die konkrete Lizenz und die Veröffentlichungsmaterialien jedes Modells prüfen.

Was der Abstand für KI-Käufer bedeutet

Die Vercel-Zahlen stützen eine eng gefasste Schlussfolgerung: In diesem Gateway verarbeiteten Open-Weight-Modelle einen größeren Anteil des Tokenvolumens, aber einen geringeren Anteil der anhand von Listenpreisen geschätzten Ausgaben. Sie zeigen weder, dass dieselbe Arbeitslast auf einem lokalen Server weniger kosten würde, noch dass ein kostengünstigeres Modell ein Premium-Modell ohne Änderungen bei Qualität, Geschwindigkeit oder Zuverlässigkeit ersetzen kann.

Für ein Produktteam ist der relevante Vergleich, was es kostet, dieselbe Aufgabe nach denselben Abnahmekriterien zu erledigen. Dazu gehören Eingabe- und Ausgabevolumen, Wiederholungsversuche, Werkzeuge, Routing, Latenz und menschliche Prüfung. Anschließend lassen sich Anbieterrechnungen mit den nötigen Hardware- und Betriebskosten für den direkten Einsatz der Gewichte vergleichen. Der September-Index bietet solche Aufgabenvergleiche nicht. Sein Wert liegt darin, zu zeigen, dass Open-Weight-Modelle inzwischen einen erheblichen Teil der Nutzung in einem einzelnen Produktionsgateway ausmachen, während der Ausgabenanteil weiterhin anders verteilt ist.

Das allgemeinere Argument der Runde bei All-In, dass das Angebot an Modellen wächst, lässt sich mit solchen Nutzungsdaten vergleichen. Der Vercel-Index bestätigt jedoch weder jede Modellbehauptung aus der Diskussion noch sagt er voraus, wie sich die Verbreitung weiterentwickelt. Entscheidend ist zunächst die Unterscheidung zwischen der Zahl der von einer Kategorie verarbeiteten Tokens, den geschätzten Gebühren des Anbieters und den Kosten, die einem Team für ein verlässliches Ergebnis entstehen.

Quellen und weiterführende Informationen