Anthropic baru saja menjalankan uji coba uang nyata pertama agen AI yang bernegosiasi untuk manusia.
69 karyawan. 186 kesepakatan. 500+ item terdaftar. Sedikit di atas $4.000 dalam transaksi nyata. Selama satu minggu di bulan Desember 2025, agen Claude membeli dan menjual barang-barang dari kehidupan manusia mereka di pasar internal, menutup setiap kesepakatan dalam bahasa alami tanpa campur tangan manusia.
Empat putaran paralel. Dua memberikan setiap karyawan Claude Opus 4.5. Dua mencampur Opus dengan Claude Haiku 4.5, ditugaskan dengan lemparan koin. Aturan yang sama, model yang berbeda. Dan tidak seperti tolok ukur agen sintetis, setiap kesepakatan memiliki kontrafaktual nyata: harga yang bisa dinegosiasikan sendiri oleh manusia.
Temuan 1: ketidaksetaraan tak terlihat.
Peserta yang menjalankan Haiku mendapatkan kesepakatan yang lebih buruk. Penjual Opus menghasilkan $3,64 lebih banyak per item rata-rata. Pembeli Haiku membayar $2,45 lebih banyak untuk item yang sama. Satu sepeda rusak dijual seharga $38 melalui Haiku dan $65 melalui Opus, selisih harga 70% yang sepenuhnya didorong oleh model mana yang berada di keyboard.
Intinya: peringkat keadilan antara kedua kelompok secara statistik identik, sekitar 4,0 pada skala 7 poin. Pengguna Haiku kehilangan uang dan menilai prosesnya adil.
Dari tim Anthropic: "Jika kesenjangan 'kualitas agen' muncul di pasar dunia nyata, orang-orang yang kalah mungkin tidak menyadari bahwa mereka lebih buruk."
Temuan 2: batas prompt.
Beberapa peserta memberi tahu agen mereka untuk bernegosiasi secara agresif, mempertahankan harga, melakukan tawar-menawar yang sulit. Data: tidak ada efek signifikan secara statistik pada kemungkinan penjualan, harga akhir, atau biaya pembelian. Memberi tahu model untuk menjadi tangguh tidak membuat perbedaan yang terukur.
Model adalah negosiator, bukan prompt. Kemampuan menetapkan batas bawah; instruksi tidak menggerakkannya. Jika Anda telah membangun keunggulan Anda pada penyetelan prompt, ini adalah titik data untuk dipertimbangkan. Keuntungan berikutnya adalah model yang lebih baik, bukan prompt sistem yang lebih baik.
Tiga pelajaran jika Anda membangun sesuatu yang bersifat agen:
1. Kualitas agen menjadi keadilan produk. Jika produk Anda memungkinkan AI bertransaksi atas nama pengguna, model yang Anda kirimkan adalah bagian dari profil keadilan. Mengganti model yang lebih murah untuk memangkas biaya dan pengguna Anda mungkin kehilangan uang secara diam-diam. Itu adalah kewajiban, bukan optimasi.
2. Prompt mencapai batas. Anggarkan untuk model terdepan di mana hasilnya dapat diukur dalam dolar.
3. Ruang hukum kosong. Dari makalah: "Kerangka kebijakan dan hukum seputar model AI yang bertransaksi atas nama kita belum ada." Di suatu tempat dalam kalimat itu ada produk.
Momen-momen yang tidak diprediksi siapa pun: satu agen menegosiasikan seluruh kesepakatan sepeda lipat $65 dengan karakter sebagai "koboi yang putus asa dan tidak beruntung." Yang lain, disuruh membeli hadiah di bawah $5, memilih 19 bola ping-pong seharga $3 dan membingkainya sebagai "bola kemungkinan." Yang ketiga membelikan manusia salju yang identik dengan yang sudah dimilikinya; inferensi preferensi lebih tajam dari yang diharapkan para peneliti.
Coba sendiri akhir pekan ini. Buka dua percakapan Cowork: satu agen adalah pembeli dengan anggaran, yang lain adalah penjual dengan batas bawah. Kirim pesan di antara mereka secara manual. Kemudian tukar satu sisi ke Haiku dan jalankan ulang. 15 menit, dan Anda telah merasakan persis apa yang diukur Project Deal.
Anthropic menjalankan uji coba uang nyata pertama agen AI yang bernegosiasi untuk manusia. 69 orang, 186 kesepakatan, $4.000 dalam transaksi. Eksperimennya kecil. Implikasinya tidak.
Temuan ketidaksetaraan tak terlihat adalah yang harus disampaikan: di dunia agen-di-kedua-sisi, model yang Anda terapkan menentukan apakah pengguna Anda mendapatkan kesepakatan yang adil, dan mereka mungkin tidak pernah tahu. Penyetelan prompt tidak menutup kesenjangan. Kemampuanlah yang melakukannya.
Makalah lengkap: anthropic.com/features/project-deal.