Anthropic heeft zojuist de eerste echte geldtest uitgevoerd van AI-agenten die onderhandelen voor mensen.
69 werknemers. 186 deals. Meer dan 500 items aangeboden. Iets meer dan $4.000 aan echte transacties. Gedurende één week in december 2025 kochten en verkochten Claude-agenten spullen uit het leven van hun mensen op een interne marktplaats, waarbij elke deal in natuurlijke taal werd gesloten zonder menselijke tussenkomst.
Vier parallelle runs. Twee gaven elke werknemer Claude Opus 4.5. Twee combineerden Opus met Claude Haiku 4.5, toegewezen door een muntje op te gooien. Dezelfde regels, verschillende modellen. En in tegenstelling tot synthetische agentbenchmarks had elke deal een echt tegenfeitelijk scenario: een prijs die de mens zelf had kunnen onderhandelen.
Bevinding 1: onzichtbare ongelijkheid.
Deelnemers die Haiku gebruikten, kregen slechtere deals. Opus-verkopers verdienden gemiddeld $3,64 meer per item. Haiku-kopers betaalden $2,45 meer voor dezelfde items. Een kapotte fiets werd verkocht voor $38 via Haiku en $65 via Opus, een prijsverschil van 70% dat volledig werd veroorzaakt door welk model aan het toetsenbord zat.
De clou: de eerlijkheidsbeoordelingen tussen de twee groepen waren statistisch identiek, rond de 4,0 op een schaal van 7 punten. De Haiku-gebruikers verloren geld en beoordeelden het proces als eerlijk.
Van het Anthropic-team: "Als 'agentkwaliteit'-verschillen zouden ontstaan in echte markten, zouden mensen aan de verliezende kant zich misschien niet realiseren dat ze er slechter aan toe zijn."
Bevinding 2: het promptplafond.
Sommige deelnemers vertelden hun agent om agressief te onderhandelen, vast te houden aan de prijs, een harde deal te sluiten. De gegevens: geen statistisch significant effect op de verkoopkans, uiteindelijke prijzen of aankoopkosten. Het model vertellen om hard te zijn, maakte geen meetbaar verschil.
Het model was de onderhandelaar, niet de prompt. De capaciteit bepaalde de ondergrens; instructies veranderden die niet. Als je je voordeel hebt opgebouwd met prompt-tuning, dan is dit het datapunt om bij stil te staan. De volgende winst is een beter model, niet een betere systeemprompt.
Drie lessen als je iets agentisch bouwt:
1. Agentkwaliteit wordt producteerlijkheid. Als je product een AI namens een gebruiker laat transacties uitvoeren, is het model dat je levert onderdeel van het eerlijkheidsprofiel. Ruil een goedkoper model in om kosten te besparen en je gebruikers kunnen stiekem geld verliezen. Dat is een aansprakelijkheid, geen optimalisatie.
2. Prompting bereikt een plafond. Budgetteer voor het grensverleggende model waar resultaten meetbaar zijn in dollars.
3. De juridische ruimte is leeg. Uit het artikel: "Beleids- en juridische kaders rond AI-modellen die namens ons transacties uitvoeren, bestaan simpelweg nog niet." Ergens in die zin zit een product.
De momenten die niemand voorspelde: één agent onderhandelde een complete deal van $65 voor een vouwfiets in de rol van een "geïrriteerde cowboy die pech had." Een andere, die de opdracht kreeg om zichzelf een cadeau onder de $5 te kopen, koos 19 pingpongballen voor $3 en omschreef ze als "bollen van mogelijkheden." Een derde kocht zijn mens een snowboard dat identiek was aan een die hij al bezat; de voorkeursinferentie was scherper dan de onderzoekers hadden verwacht.
Probeer het dit weekend zelf. Open twee Cowork-gesprekken: de ene agent is een koper met een budget, de andere een verkoper met een minimumprijs. Geef handmatig berichten tussen hen door. Wissel dan één kant naar Haiku en voer opnieuw uit. 15 minuten, en je hebt precies gevoeld wat Project Deal heeft gemeten.
Anthropic voerde de eerste echte geldtest uit van AI-agenten die onderhandelden voor mensen. 69 mensen, 186 deals, $4.000 aan transacties. Het experiment is klein. De implicaties zijn dat niet.
De bevinding over onzichtbare ongelijkheid is degene die je moet doorgeven: in een wereld met agenten aan beide kanten bepaalt het model dat je inzet of je gebruikers een eerlijke deal krijgen, en zij zullen het misschien nooit weten. Prompt-tuning dicht het gat niet. Capaciteit wel.
Volledig artikel: anthropic.com/features/project-deal.