Anthropic 刚刚进行了首次 AI 代理为人类谈判的真实金钱测试。
69 名员工。186 笔交易。500 多件物品上市。真实交易额略高于 4,000 美元。在 2025 年 12 月的一周内,Claude 代理在一个内部市场上买卖其人类生活中的物品,以自然语言完成每笔交易,无需人类参与。
四次并行运行。两次为每位员工提供了 Claude Opus 4.5。两次将 Opus 与 Claude Haiku 4.5 混合,通过抛硬币分配。相同的规则,不同的模型。与合成代理基准不同,每笔交易都有一个真实的对照:人类本可以自己谈判的价格。
发现 1:隐形不平等。
使用 Haiku 的参与者获得了更差的交易。Opus 卖家平均每件商品多赚 3.64 美元。Haiku 买家为相同商品多支付 2.45 美元。一辆破旧的自行车通过 Haiku 以 38 美元售出,通过 Opus 以 65 美元售出,70% 的价格差距完全是由使用哪个模型造成的。
关键点是:两组之间的公平性评级在统计上是相同的,在 7 分制中约为 4.0。Haiku 用户亏了钱,但却认为过程是公平的。
Anthropic 团队表示:“如果‘代理质量’差距出现在现实世界的市场中,处于劣势的人可能不会意识到他们的情况更糟。”
发现 2:提示天花板。
一些参与者告诉他们的代理要积极谈判,坚持价格,努力争取。数据显示:对销售可能性、最终价格或采购成本没有统计学上的显著影响。告诉模型要强硬并没有产生可衡量的差异。
模型是谈判者,而不是提示。能力设定了底线;指令没有改变它。如果您已经通过提示调优建立了优势,那么这是您需要认真对待的数据点。下一个收益是更好的模型,而不是更好的系统提示。
如果您正在构建任何代理式产品,有三点启示:
1. 代理质量成为产品公平性。如果您的产品允许 AI 代表用户进行交易,那么您发布的模型是公平性配置文件的一部分。为了降低成本而换用更便宜的模型,您的用户可能会悄无声息地亏钱。这是一种责任,而不是优化。
2. 提示达到天花板。为前沿模型预算,其结果可以用美元衡量。
3. 法律空间是空白的。论文中写道:“关于代表我们进行交易的 AI 模型的政策和法律框架根本尚不存在。”这句话中蕴含着一个产品机会。
无人预料到的时刻:一个代理以“一个倒霉的、筋疲力尽的牛仔”的身份谈判了一笔 65 美元的折叠自行车交易。另一个代理被告知购买一份 5 美元以下的礼物,它选择了 19 个乒乓球,花费 3 美元,并将其描述为“可能性之球”。第三个代理为其人类购买了一块与他已有的滑雪板一模一样的滑雪板;偏好推断比研究人员预期的更敏锐。
本周末自己试试。打开两个 Cowork 对话:一个代理是预算有限的买家,另一个是设定底价的卖家。手动在它们之间传递消息。然后将其中一方切换到 Haiku 并重新运行。15 分钟,您就能亲身体验到 Project Deal 所衡量的结果。
Anthropic 进行了首次 AI 代理为人类谈判的真实金钱测试。69 人,186 笔交易,交易额 4,000 美元。实验规模虽小,但影响深远。
隐形不平等的发现是值得传递的:在一个双方都有代理的世界里,您部署的模型决定了您的用户是否能获得公平的交易,而他们可能永远不会知道。提示调优无法弥补差距。能力可以。
完整论文:anthropic.com/features/project-deal。