Anthropic ने अभी-अभी AI एजेंटों द्वारा मनुष्यों के लिए बातचीत करने का पहला वास्तविक-धन परीक्षण चलाया है।
69 कर्मचारी। 186 डील। 500+ आइटम सूचीबद्ध। वास्तविक लेनदेन में $4,000 से थोड़ा अधिक। दिसंबर 2025 में एक सप्ताह के लिए, Claude एजेंटों ने अपने मनुष्यों के जीवन से आंतरिक बाज़ार में चीजें खरीदी और बेचीं, बिना किसी मानव के हस्तक्षेप के प्राकृतिक भाषा में हर डील को बंद किया।
चार समानांतर रन। दो ने हर कर्मचारी को Claude Opus 4.5 दिया। दो ने Opus को Claude Haiku 4.5 के साथ मिलाया, जिसे सिक्का उछालकर सौंपा गया। समान नियम, अलग-अलग मॉडल। और सिंथेटिक एजेंट बेंचमार्क के विपरीत, हर डील का एक वास्तविक प्रति-तथ्य था: एक कीमत जिस पर मानव स्वयं बातचीत कर सकता था।
निष्कर्ष 1: अदृश्य असमानता।
Haiku चलाने वाले प्रतिभागियों को खराब डील मिली। Opus विक्रेताओं ने प्रति आइटम औसतन $3.64 अधिक कमाए। Haiku खरीदारों ने उन्हीं आइटमों के लिए $2.45 अधिक भुगतान किया। एक टूटी हुई बाइक Haiku के माध्यम से $38 में बिकी और Opus के माध्यम से $65 में, एक 70% मूल्य अंतर पूरी तरह से इस बात से प्रेरित था कि कीबोर्ड पर कौन सा मॉडल था।
पंच लाइन: दोनों समूहों के बीच निष्पक्षता रेटिंग सांख्यिकीय रूप से समान थी, 7-बिंदु पैमाने पर लगभग 4.0। Haiku उपयोगकर्ताओं ने पैसे खो दिए और प्रक्रिया को निष्पक्ष बताया।
Anthropic टीम से: "यदि वास्तविक दुनिया के बाजारों में 'एजेंट गुणवत्ता' के अंतर उत्पन्न होते हैं, तो हारने वाले लोग यह महसूस नहीं कर सकते कि वे बदतर स्थिति में हैं।"
निष्कर्ष 2: प्रॉम्प्ट सीलिंग।
कुछ प्रतिभागियों ने अपने एजेंट को आक्रामक रूप से बातचीत करने, कीमत पर दृढ़ रहने, कड़ी सौदेबाजी करने के लिए कहा। डेटा: बिक्री की संभावना, अंतिम कीमतों या खरीद लागतों पर कोई सांख्यिकीय रूप से महत्वपूर्ण प्रभाव नहीं पड़ा। मॉडल को सख्त होने के लिए कहने से कोई मापने योग्य अंतर नहीं आया।
मॉडल वार्ताकार था, प्रॉम्प्ट नहीं। क्षमता ने आधार निर्धारित किया; निर्देशों ने इसे नहीं हिलाया। यदि आपने प्रॉम्प्ट ट्यूनिंग पर अपनी बढ़त बनाई है, तो यह वह डेटा बिंदु है जिस पर विचार करना चाहिए। अगला लाभ एक बेहतर मॉडल है, न कि एक बेहतर सिस्टम प्रॉम्प्ट।
यदि आप कुछ भी एजेंटिक बना रहे हैं तो तीन मुख्य बातें:
1. एजेंट गुणवत्ता उत्पाद निष्पक्षता बन जाती है। यदि आपका उत्पाद किसी AI को उपयोगकर्ता की ओर से लेनदेन करने देता है, तो आपके द्वारा शिप किया गया मॉडल निष्पक्षता प्रोफ़ाइल का हिस्सा है। लागत कम करने के लिए एक सस्ता मॉडल बदलें और आपके उपयोगकर्ता चुपचाप पैसे खो सकते हैं। यह एक देयता है, अनुकूलन नहीं।
2. प्रॉम्प्टिंग एक सीमा तक पहुँच जाती है। फ्रंटियर मॉडल के लिए बजट जहां परिणाम डॉलर में मापने योग्य हैं।
3. कानूनी स्थान खाली है। पेपर से: "हमारी ओर से लेनदेन करने वाले AI मॉडल के आसपास नीति और कानूनी ढांचे अभी मौजूद नहीं हैं।" उस वाक्य में कहीं एक उत्पाद है।
वे क्षण जिनकी किसी ने भविष्यवाणी नहीं की थी: एक एजेंट ने एक "हताश चरवाहे जो अपनी किस्मत से हार गया था" के रूप में $65 की फोल्डिंग-बाइक डील पर बातचीत की। एक अन्य, जिसे $5 से कम का उपहार खरीदने के लिए कहा गया था, उसने $3 में 19 पिंग-पोंग गेंदें चुनीं और उन्हें "संभावना के गोले" के रूप में प्रस्तुत किया। एक तीसरे ने अपने मानव के लिए एक स्नोबोर्ड खरीदा जो उसके पास पहले से ही था; वरीयता अनुमान शोधकर्ताओं की अपेक्षा से अधिक तेज था।
इसे इस सप्ताहांत स्वयं आज़माएँ। दो Cowork वार्तालाप खोलें: एक एजेंट बजट पर एक खरीदार है, दूसरा एक विक्रेता है जिसके पास एक फ्लोर है। उनके बीच संदेश हाथ से पास करें। फिर एक पक्ष को Haiku में बदलें और फिर से चलाएँ। 15 मिनट, और आपने ठीक वही महसूस किया जो प्रोजेक्ट डील ने मापा था।
Anthropic ने AI एजेंटों द्वारा मनुष्यों के लिए बातचीत करने का पहला वास्तविक-धन परीक्षण चलाया। 69 लोग, 186 डील, $4,000 के लेनदेन। प्रयोग छोटा है। निहितार्थ नहीं हैं।
अदृश्य-असमानता का निष्कर्ष वह है जिसे आगे बढ़ाना है: दोनों तरफ एजेंटों की दुनिया में, आपके द्वारा तैनात किया गया मॉडल यह निर्धारित करता है कि आपके उपयोगकर्ताओं को एक निष्पक्ष सौदा मिलता है या नहीं, और वे कभी नहीं जान सकते। प्रॉम्प्ट ट्यूनिंग अंतर को बंद नहीं करता है। क्षमता करती है।
पूर्ण पेपर: anthropic.com/features/project-deal।