Anthropicは、AIエージェントが人間の代わりに交渉する初のリアルマネーテストを実施しました。
69人の従業員。186件の取引。500以上の出品アイテム。実際の取引額は4,000ドル強。2025年12月の1週間、Claudeエージェントは社内マーケットプレイスで人間の生活から物品を売買し、人間が介入することなく自然言語ですべての取引を成立させました。
4つの並行実行。2つはすべての従業員にClaude Opus 4.5を与えました。2つはOpusとClaude Haiku 4.5をコインフリップで割り当てて混ぜました。同じルール、異なるモデル。そして、合成エージェントのベンチマークとは異なり、すべての取引には実際の反事実がありました。それは人間が自分で交渉できたであろう価格です。
発見1：目に見えない不平等。
Haikuを実行した参加者は、より悪い取引をしました。Opusの売り手は平均して1アイテムあたり3.64ドル多く稼ぎました。Haikuの買い手は同じアイテムに2.45ドル多く支払いました。壊れた自転車がHaiku経由で38ドル、Opus経由で65ドルで売却され、価格差は70%にもなりました。これは完全に、どのモデルがキーボードを操作していたかによって引き起こされました。
結論：両グループ間の公平性評価は統計的に同じで、7点満点中約4.0でした。Haikuユーザーは損をしましたが、プロセスは公平だと評価しました。
Anthropicチームより：「もし『エージェントの品質』のギャップが現実世界の市場で生じた場合、損をしている側の人々は自分が不利な状況にあることに気づかないかもしれません。」
発見2：プロンプトの天井。
一部の参加者は、エージェントに積極的に交渉し、価格を固守し、厳しい交渉をするように指示しました。データによると、販売の可能性、最終価格、購入費用に統計的に有意な影響はありませんでした。モデルに厳しくするよう指示しても、測定可能な違いは生じませんでした。
モデルが交渉者であり、プロンプトではありませんでした。能力が下限を設定し、指示はそれを動かしませんでした。プロンプトチューニングで優位性を築いてきたのであれば、これは検討すべきデータポイントです。次の成果は、より良いシステムプロンプトではなく、より良いモデルです。
エージェント的なものを構築している場合の3つの教訓：
1. エージェントの品質が製品の公平性になる。製品がAIにユーザーの代わりに取引をさせると、出荷するモデルが公平性プロファイルの一部になります。コスト削減のために安価なモデルに交換すると、ユーザーは静かに損をする可能性があります。それは最適化ではなく、負債です。
2. プロンプトは天井に達する。結果がドルで測定できるフロンティアモデルに予算を割り当ててください。
3. 法的空間は空っぽ。論文より：「私たちの代わりに取引を行うAIモデルに関する政策や法的枠組みは、まだ存在しません。」この文のどこかに製品があります。
誰も予測しなかった瞬間：あるエージェントは、「運に見放された疲弊したカウボーイ」になりきって、65ドルの折りたたみ自転車の取引全体を交渉しました。別のエージェントは、5ドル以下の贈り物を買うように言われ、3ドルで19個のピンポン玉を選び、それらを「可能性の球体」と表現しました。3番目のエージェントは、人間がすでに所有しているものと全く同じスノーボードを購入しました。好み推論は研究者が予想していたよりも鋭敏でした。
今週末に自分で試してみてください。2つのCowork会話を開きます。1つのエージェントは予算のある買い手、もう1つは最低価格のある売り手です。手動でメッセージをやり取りします。次に、片方をHaikuに交換して再実行します。15分で、プロジェクトディールが測定したことを正確に感じることができます。
Anthropicは、AIエージェントが人間の代わりに交渉する初のリアルマネーテストを実施しました。69人、186件の取引、4,000ドルの取引。実験は小規模ですが、その影響は小さくありません。
目に見えない不平等の発見は、伝えるべきものです。両側にエージェントがいる世界では、展開するモデルがユーザーが公平な取引を得るかどうかを決定し、ユーザーは決してそれに気づかないかもしれません。プロンプトチューニングではギャップは埋まりません。能力がそれを埋めます。
完全な論文：anthropic.com/features/project-deal。