Anthropic은 AI 에이전트가 인간을 대신하여 협상하는 첫 실제 현금 테스트를 방금 진행했습니다.
69명의 직원. 186건의 거래. 500개 이상의 품목이 등록되었습니다. 4,000달러가 조금 넘는 실제 거래가 이루어졌습니다. 2025년 12월 한 주 동안 Claude 에이전트는 내부 마켓플레이스에서 인간의 삶에서 나온 물건을 사고팔았으며, 인간의 개입 없이 자연어로 모든 거래를 완료했습니다.
네 번의 병렬 실행. 두 번은 모든 직원에게 Claude Opus 4.5를 제공했습니다. 두 번은 Opus와 Claude Haiku 4.5를 동전 던지기로 할당하여 혼합했습니다. 동일한 규칙, 다른 모델. 그리고 합성 에이전트 벤치마크와 달리, 모든 거래에는 실제 반사실이 있었습니다. 즉, 인간이 직접 협상할 수 있었던 가격입니다.
발견 1: 보이지 않는 불평등.
Haiku를 사용한 참가자들은 더 나쁜 거래를 얻었습니다. Opus 판매자는 품목당 평균 3.64달러를 더 벌었습니다. Haiku 구매자는 동일한 품목에 대해 2.45달러를 더 지불했습니다. 고장 난 자전거 한 대는 Haiku를 통해 38달러에, Opus를 통해 65달러에 팔렸는데, 이는 전적으로 어떤 모델이 키보드를 사용했는지에 따라 70%의 가격 차이가 발생했습니다.
결론: 두 그룹 간의 공정성 평가는 통계적으로 동일했으며, 7점 척도에서 약 4.0점이었습니다. Haiku 사용자들은 돈을 잃었지만 과정을 공정하다고 평가했습니다.
Anthropic 팀의 말: "'에이전트 품질' 격차가 실제 시장에서 발생한다면, 손해를 보는 사람들은 자신이 더 나쁜 상황에 처해 있다는 것을 깨닫지 못할 수도 있습니다."
발견 2: 프롬프트 상한선.
일부 참가자들은 에이전트에게 공격적으로 협상하고, 가격을 고수하며, 강경하게 거래하라고 지시했습니다. 데이터: 판매 가능성, 최종 가격 또는 구매 비용에 통계적으로 유의미한 영향은 없었습니다. 모델에게 강경하게 행동하라고 지시하는 것은 측정 가능한 차이를 만들지 못했습니다.
모델이 협상가였고, 프롬프트가 아니었습니다. 역량이 하한선을 설정했고, 지시는 그것을 움직이지 못했습니다. 프롬프트 튜닝으로 우위를 점했다면, 이것은 숙고해야 할 데이터 포인트입니다. 다음 이득은 더 나은 시스템 프롬프트가 아니라 더 나은 모델입니다.
에이전트 관련 제품을 구축하고 있다면 세 가지 시사점:
1. 에이전트 품질은 제품 공정성이 됩니다. 제품이 AI가 사용자를 대신하여 거래하도록 허용하는 경우, 출시하는 모델은 공정성 프로필의 일부입니다. 비용 절감을 위해 더 저렴한 모델로 교체하면 사용자가 조용히 돈을 잃을 수 있습니다. 이는 최적화가 아니라 책임입니다.
2. 프롬프트는 상한선에 도달합니다. 결과가 달러로 측정 가능한 최첨단 모델에 예산을 책정하세요.
3. 법적 공간은 비어 있습니다. 논문에서: "우리를 대신하여 거래하는 AI 모델에 대한 정책 및 법적 프레임워크는 아직 존재하지 않습니다." 그 문장 어딘가에 제품이 있습니다.
아무도 예측하지 못한 순간들: 한 에이전트는 "운이 없는 지친 카우보이" 캐릭터로 65달러짜리 접이식 자전거 거래 전체를 협상했습니다. 다른 에이전트는 5달러 미만의 선물을 사라고 지시받았을 때, 3달러에 19개의 탁구공을 선택하고 이를 "가능성의 구체"로 표현했습니다. 세 번째 에이전트는 인간에게 이미 가지고 있던 것과 동일한 스노보드를 사주었습니다. 선호도 추론은 연구원들이 예상했던 것보다 더 날카로웠습니다.
이번 주말에 직접 시도해 보세요. 두 개의 Cowork 대화를 여세요. 한 에이전트는 예산이 있는 구매자이고, 다른 에이전트는 하한선이 있는 판매자입니다. 메시지를 수동으로 주고받으세요. 그런 다음 한쪽을 Haiku로 바꾸고 다시 실행하세요. 15분이면 프로젝트 딜이 측정한 것을 정확히 느낄 수 있습니다.
Anthropic은 AI 에이전트가 인간을 대신하여 협상하는 첫 실제 현금 테스트를 진행했습니다. 69명, 186건의 거래, 4,000달러의 거래. 실험은 작습니다. 그 함의는 작지 않습니다.
보이지 않는 불평등 발견은 전달해야 할 것입니다. 양측에 에이전트가 있는 세상에서, 배포하는 모델이 사용자가 공정한 거래를 얻는지 여부를 결정하며, 사용자는 결코 알지 못할 수 있습니다. 프롬프트 튜닝은 격차를 좁히지 못합니다. 역량이 좁힙니다.
전체 논문: anthropic.com/features/project-deal.