Soll Ihr Engineering-Team ein offenes Coding-Modell selbst hosten?

David Abitbol, der bei Revolut den Bereich AI Operations leitet, beschrieb den Rollout in einem Vortrag auf der AI Engineer-Konferenz in New York Ende 2026. Revolut erfasst zwei Kennzahlen über eine Stichprobe von rund 2.000 Engineers: die Coding-Zeit in Stunden und die Lead-Time in Tagen – von der Übernahme eines Features bis zum Merge und zur Deploy-Bereitschaft.

Ein früher Rollout von Googles Gemini mit Zugriff auf interne Daten verbesserte beide Kennzahlen leicht, vor allem weil Dokumentationssuchen wegfielen. Als Nächstes kam Anthropics Claude Code unter strikten Token-Budgets pro Engineer zum Einsatz, nachdem einige Engineers hohe Kosten verursacht hatten, ohne dass ein klarer Nutzen erkennbar war. Laut Abitbol zeigte sich zunächst kaum ein messbarer Effekt.

Was die Zahlen wirklich veränderte, war das Self-Hosting eines offenen Coding-Modells, Z.ais GLM, ab etwa April 2026, komplett ohne Token-Limits. Die Coding-Zeit verbesserte sich um rund 60 %, die Lead-Time um rund 70 %. Revolut behandelt das selbst gehostete Modell inzwischen als Standard für die tägliche Arbeit, mit pauschalen, planbaren Kosten, und hält Frontier-Tools als Ausnahme für die schwierigsten Probleme bereit.

Bei rund 2.000 Engineers brauchte das Ausliefern des Modells 56 Nvidia-B200-GPUs, mit dem Ziel einer Time-to-First-Token unter drei Sekunden (Beschwerden setzen ab etwa fünf Sekunden ein). Die durchschnittlichen Kosten lagen bei etwa 0,30 US-Dollar pro Million Tokens, ungefähr ein Zehntel dessen, was Revolut zuvor zusammen an Anthropic und OpenAI gezahlt hatte.

Abitbols eigene Lesart der Daten ist der nützlichste Teil: Die Lead-Time verbesserte sich stärker als die Coding-Zeit – das heißt, Coding war nie der eigentliche Flaschenhals. Sobald niemand mehr Tokens für das schwierigste Ticket des Quartals sparen muss, setzen Engineers KI auch für E-Mails, Jira, Confluence und all die Arbeit ein, die ein Feature umgibt, nicht nur für den Code selbst.

Diese Lektion gilt unabhängig davon, welches Modell ein Team einsetzt. Ein Team, das bei einer Frontier-API Tokens pro Engineer budgetiert oder die Nutzung zur Kostenkontrolle begrenzt, schafft genau das Rationierungsproblem neu, das Revolut durch den Wegfall der Limits gelöst hat. Die Lösung ist nicht immer Self-Hosting; manchmal reicht ein günstigerer oder pauschalerer Tarif beim gleichen Frontier-Modell.

Die praktische Konsequenz für jede Engineering-Führungskraft: die Lead-Time messen, nicht nur die Coding-Zeit oder generierte Codezeilen, bevor man entscheidet, ob sich KI-Tools auszahlen – und darauf achten, ob Engineers ihre Nutzung aus Kosten- oder Kontingentdruck selbst rationieren.

Diese Seite konzentriert sich auf die Kosten- und Rollout-Entscheidung im Team: ob man überhaupt selbst hosten sollte und wie man es umsetzt, wenn man sich dafür entscheidet. Für die umfassendere, modellunabhängige Frage, was offene Gewichte, Open Source und geschlossene APIs eigentlich bedeuten und warum Labs und Regierungen sie unterschiedlich behandeln, deckt der Nightschool AI-Leitfaden Open Source vs. geschlossene KI-Modelle dieses Thema vollständig ab.

Revoluts Infrastrukturzahlen sind eine nützliche Warnung vor der Annahme, Self-Hosting sei einfach, sobald man GPUs hat. Von April bis August 2026 stieg die Last bei konstant 56 GPUs von etwa 3 auf über 7 Anfragen pro Sekunde, während die Time-to-First-Token von rund 14 Sekunden auf unter 2 Sekunden fiel – eine Latenzverbesserung von 88 % ohne neue Hardware.

Abitbol schreibt rund 80 % dieses Gewinns der Serving-Konfiguration zu, nicht den GPUs: die Kontextlänge deutlich unter dem beworbenen Maximum des Modells zu begrenzen, eine Quantisierung mit geringerer Präzision auf aktueller GPU-Hardware zu fahren und zu justieren, wie der Attention-Cache des Modells über die Geräte verteilt wird. Sein Fazit für Teams, die diesen Weg erwägen, ist unverblümt: Gewichte einfach auf GPUs zu laden und das als fertig zu betrachten, bringt miserable Performance.

Dieser Tuning-Aufwand ist ein echter, laufender Betriebskostenposten, den die meisten Teams unterschätzen, wenn sie den Listenpreis eines selbst gehosteten Modells mit einer API-Rechnung vergleichen.