注册

LiveMACE 用真实市场 30 天评测 LLM 智能体能力

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇投稿至 arXiv 的论文提出 LiveMACEBench，把实时金融市场当作自然演化的测试环境，对持续运行的 LLM 智能体做过程感知评测。五个前沿模型在工具使用、持久记忆、规则遵循、多智能体协作四种配置匹配的条件下连续运行，评测同时看最终结果和从完整决策轨迹中提取的机制诊断。30 天实测显示结果与能力之间存在明显落差：实际收益常与能力指标背离，相近结果可能来自差异很大的机制使用方式。轨迹层面的诊断还揭示出各能力上的不同瓶颈，说明能否调用机制、能否有效使用机制、以及下游表现三者并不等价。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

评测为何盯住过程

论文的出发点是：只用最终结果来评价智能体，会掩盖产生这些结果的能力。在持续变化的环境里，结果本身就是智能体行为与外部条件闭环互动的产物，因此单看收益或成败难以判断模型究竟强在哪、弱在哪。作者据此提出 LiveMACEBench，把实时金融市场当作一个天然演化、无法被预先写死的测试场，让智能体在其中长期运行，而不是在固定题库上做一次性答题。评测对象是持续存在的 LLM 智能体，关注的是它们在环境变化中如何维持行为。

四种配置与五个模型

实验让五个前沿 LLM 在连续轨迹上运行，并对四类机制配置做匹配：工具使用、持久记忆、规则遵循、多智能体协作。所谓匹配，意味着不同模型面对的是同一套机制条件，从而把差异归因到模型自身而非环境设置。评测持续 30 天，期间市场自然演化，智能体需要不断决策。评测数据不仅包括最终实现的结果，还包括从完整决策轨迹中提取的、针对具体机制的诊断信息，这使得研究者可以追问某个结果是由哪种机制使用模式带来的。

结果与能力的落差

30 天实测最重要的发现是结果与能力之间存在明显落差：实际收益经常与针对能力本身的测量结果不一致，而看起来相近的结果，可能来自差异很大的机制使用方式。轨迹层面的诊断进一步暴露出不同能力上的瓶颈各不相同。论文由此强调，能否接触到某个机制、能否有效地使用该机制、以及最终的下游表现，这三者并不是可以互相替代的能力度量。LiveMACEBench 的意义在于让这种区分变得可测量，把实时市场从一张性能排行榜，变成一个用于诊断智能体能力的环境。

为什么值得看

把智能体评测从只看结果转向看决策过程，并给出真实市场中的 30 天实测证据，对做 agent 评测与记忆/工具能力研究…

智能体论文

信源1 家

  1. [1]arXiv cs.AI一手信源LiveMACE: Process-Aware Evaluation of LLM Agent Capabilities in Evolving Markets

关键事实

  • 论文提出 LiveMACEBench，以实时金融市场作为自然演化的测试环境，对持续运行的 LLM 智能体做过程感知评测。[1]

  • 五个前沿模型在工具使用、持久记忆、规则遵循、多智能体协作四种配置匹配的条件下连续运行。[1]

  • 评测同时采用实际结果与从完整决策轨迹中提取的机制诊断两类指标。[1]

  • 30 天实测发现结果与能力之间存在落差，相近结果可能来自明显不同的机制使用模式。[1]

  • 轨迹诊断显示机制可及性、机制的有效使用与下游表现并非可互换的能力度量。[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论