Anthropic hat gerade den ersten Echtgeldtest von KI-Agenten durchgeführt, die für Menschen verhandeln.
69 Mitarbeiter. 186 Deals. Über 500 Artikel gelistet. Knapp über 4.000 $ in echten Transaktionen. Eine Woche lang im Dezember 2025 kauften und verkauften Claude-Agenten Dinge aus dem Leben ihrer Menschen auf einem internen Marktplatz und schlossen jeden Deal in natürlicher Sprache ohne menschliches Eingreifen ab.
Vier parallele Durchläufe. Zwei gaben jedem Mitarbeiter Claude Opus 4.5. Zwei mischten Opus mit Claude Haiku 4.5, per Münzwurf zugewiesen. Dieselben Regeln, unterschiedliche Modelle. Und im Gegensatz zu synthetischen Agenten-Benchmarks hatte jeder Deal einen echten Kontrafakt: einen Preis, den der Mensch selbst hätte aushandeln können.
Ergebnis 1: unsichtbare Ungleichheit.
Teilnehmer, die Haiku nutzten, erhielten schlechtere Deals. Opus-Verkäufer verdienten durchschnittlich 3,64 $ mehr pro Artikel. Haiku-Käufer zahlten 2,45 $ mehr für dieselben Artikel. Ein kaputtes Fahrrad wurde für 38 $ über Haiku und 65 $ über Opus verkauft, eine Preisdifferenz von 70 %, die ausschließlich davon abhing, welches Modell an der Tastatur saß.
Die Pointe: Die Fairness-Bewertungen zwischen den beiden Gruppen waren statistisch identisch, etwa 4,0 auf einer 7-Punkte-Skala. Die Haiku-Benutzer verloren Geld und bewerteten den Prozess als fair.
Vom Anthropic-Team: „Wenn 'Agentenqualitäts'-Lücken in realen Märkten entstehen würden, würden die Menschen auf der Verliererseite möglicherweise nicht erkennen, dass es ihnen schlechter geht.“
Ergebnis 2: die Prompt-Obergrenze.
Einige Teilnehmer wiesen ihren Agenten an, aggressiv zu verhandeln, am Preis festzuhalten und hart zu verhandeln. Die Daten: kein statistisch signifikanter Effekt auf die Verkaufswahrscheinlichkeit, die Endpreise oder die Anschaffungskosten. Dem Modell zu sagen, es solle hart sein, machte keinen messbaren Unterschied.
Das Modell war der Verhandlungsführer, nicht der Prompt. Die Fähigkeit setzte die Untergrenze; Anweisungen verschoben sie nicht. Wenn Sie Ihren Vorteil auf Prompt-Tuning aufgebaut haben, ist dies der Datenpunkt, über den Sie nachdenken sollten. Der nächste Gewinn ist ein besseres Modell, kein besserer System-Prompt.
Drei Erkenntnisse, wenn Sie etwas Agentisches aufbauen:
1. Agentenqualität wird zu Produktfairness. Wenn Ihr Produkt es einer KI ermöglicht, im Namen eines Benutzers Transaktionen durchzuführen, ist das von Ihnen ausgelieferte Modell Teil des Fairness-Profils. Wenn Sie ein billigeres Modell einsetzen, um Kosten zu senken, können Ihre Benutzer stillschweigend Geld verlieren. Das ist eine Haftung, keine Optimierung.
2. Prompting stößt an eine Obergrenze. Planen Sie das Spitzenmodell ein, bei dem die Ergebnisse in Dollar messbar sind.
3. Der Rechtsraum ist leer. Aus dem Papier: „Politische und rechtliche Rahmenbedingungen für KI-Modelle, die in unserem Namen Transaktionen durchführen, existieren einfach noch nicht.“ Irgendwo in diesem Satz steckt ein Produkt.
Die Momente, die niemand vorhergesagt hat: Ein Agent verhandelte einen gesamten 65-Dollar-Faltrad-Deal im Charakter eines „verzweifelten Cowboys, der Pech hatte“. Ein anderer, dem gesagt wurde, er solle sich ein Geschenk unter 5 Dollar kaufen, wählte 19 Tischtennisbälle für 3 Dollar und bezeichnete sie als „Kugeln der Möglichkeit“. Ein dritter kaufte seinem Menschen ein Snowboard, das einem ähnelte, das er bereits besaß; die Präferenzinferenz war schärfer, als die Forscher erwartet hatten.
Probieren Sie es dieses Wochenende selbst aus. Öffnen Sie zwei Cowork-Gespräche: Ein Agent ist ein Käufer mit Budget, der andere ein Verkäufer mit einer Untergrenze. Übergeben Sie Nachrichten manuell zwischen ihnen. Tauschen Sie dann eine Seite gegen Haiku aus und wiederholen Sie den Vorgang. 15 Minuten, und Sie haben genau das gespürt, was Project Deal gemessen hat.
Anthropic führte den ersten Echtgeldtest von KI-Agenten durch, die für Menschen verhandeln. 69 Personen, 186 Deals, 4.000 $ an Transaktionen. Das Experiment ist klein. Die Implikationen sind es nicht.
Die unsichtbare Ungleichheit ist die Erkenntnis, die man weitergeben sollte: In einer Welt mit Agenten auf beiden Seiten bestimmt das von Ihnen eingesetzte Modell, ob Ihre Benutzer einen fairen Deal erhalten, und sie werden es vielleicht nie wissen. Prompt-Tuning schließt die Lücke nicht. Die Fähigkeit tut es.
Vollständiges Papier: anthropic.com/features/project-deal.