注册

TradeWar 基准发布：以执行结果评估 LLM 贸易谈判

论文AI 评分 68/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

arXiv 收录论文提出 TradeWar，一个多国模拟基准，把谈判对话转成具体的关税与贸易份额政策，在结算时施加产能与网络约束，并用经济健康指数（EHI）衡量结果，而非只看达成协议的比例。配套智能体 TACTIC 在不更新基座模型权重的前提下，跨回合利用既往经验、对手行为与结算结果迭代策略。零样本 CoT 提示的 PromptLLM 协议达成率 75%，但最终 EHI 仅 57.1；TACTIC 达成率 68.8，最终 EHI 更高。20 个连续回合、三个随机种子下，TACTIC 最终 EHI 从 58.2 升至 73.2，去掉跨回合更新的消融版本为 65.2。在技术管制与能源危机冲击下，TACTIC 的性能下降幅度小于 PromptLLM 与 MemoryLLM。论文被 DAI'26 接收。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

把谈判落到结算环节

现有面向大模型智能体的评测，多数只盯着对话双方是否达成一致，却很少追问谈成的条款在真正执行后能否产生价值。TradeWar 这一基准把多国场景下的谈判对话转成具体的关税与贸易份额政策，在结算阶段施加产能与网络方面的约束，再用一个经济健康指数（EHI）衡量最终结果。也就是说，智能体在对话里许下的承诺要经过执行环节的检验，评测对象从“谈没谈成”变成“谈成之后结果如何”。

两种智能体的成绩对照

论文给出的对照里，采用零样本思维链提示的 PromptLLM 拿到了 75% 的达成率，但最终 EHI 只有 57.1（乘以 100 计）。作者提出的 TACTIC 走的是另一条路：它不更新基础模型的权重，而是借助此前的经验、对手的行为以及过往结算结果，在多个回合之间反复调整谈判策略。在 20 个连续回合、三个随机种子的设定下，TACTIC 的最终 EHI 从 58.2 提升到 73.2；作为对照，去掉跨回合更新能力的消融版本为 65.2。材料同时提到 TACTIC 达到 68.8，但未说明该数值对应的具体口径。

冲击场景下的稳定性

材料还考察了两类外部冲击：技术管制与能源危机。在这两种情形下，TACTIC 的性能下降幅度都小于 PromptLLM 和 MemoryLLM。作者据此认为，仅靠思维链推理与交互记忆，并不足以应对延迟出现的执行反馈；把结算结果纳入策略调整，才有助于改善 TradeWar 中的长程谈判表现。这一结论指向的是评测方式本身：达成率之外，执行后的结果同样需要被纳入衡量。

为什么值得看

把谈判评测从「是否谈成」推进到「执行后是否创造价值」，为多轮智能体评测提供可复用的结算式思路。

智能体论文

信源1 家

  1. [1]arXiv cs.AI一手信源TradeWar: A Benchmark for Execution-Grounded Trade Negotiation with Adaptive LLM Agents

关键事实

  • TradeWar 将谈判对话转成关税与贸易份额政策，结算时施加产能与网络约束，用经济健康指数 EHI 评估结果[1]

  • TACTIC 不更新基座 LLM 权重，依靠既往经验、对手行为与结算结果跨回合迭代策略[1]

  • 零样本 CoT 的 PromptLLM 协议达成率 75%，最终 EHI 为 57.1；TACTIC 达成率 68.8[1]

  • 20 个连续回合、三个种子下，TACTIC 最终 EHI 从 58.2 提升到 73.2，无跨回合更新的消融为 65.2[1]

  • 在技术管制与能源危机冲击下，TACTIC 的性能退化小于 PromptLLM 与 MemoryLLM[1]

相关 · 论文

清华姚期智团队提出代数世界模型AWM，ARC-AGI-3全关卡通关

11月1日 周日·AI 78

新芯航途发布X7 Ultra芯片，700TOPS，用Momenta世界模型做评测

10月31日 周六·AI 72

LSA 稀疏注意力方法：百万级上下文下提速最高 72.4 倍

10月31日 周六·AI 78

ID-WM 分层世界模型提出，长程任务性能提升 135%

10月31日 周六·AI 72

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论