Quant-Arena 基准发布:九款前沿模型均未跑赢等权市场

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

研究团队推出 Quant-Arena,这是一个面向端到端量化研究、基于真实 A 股数据的基准与公开排行榜。模型需自行构造特征与选股代码,只在 2022 至 2023 年数据上获得反馈,随后冻结一套策略,在封存的 2024 年数据上接受评估。评估器按现金账户规则计入交易约束与成本,市场冲击由模拟订单簿估算。评分以实际超额收益为主,辅以信号质量与特征多样性。九款前沿模型参与测试,GPT-6 Astra 得分最高,但没有任何模型在 2024 年跑赢等权市场。该基准接受任意模型或智能体框架提交。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

评测覆盖完整研究闭环

现有基准多只考察公式书写、代码生成或单次交易决策,无法回答模型能否走完量化研究的完整循环。Quant-Arena 把这一循环定义为:提出市场假设、将其实现为可执行信号、在历史数据上检验、再决定保留什么。模型需要自己构造特征并写出选股代码,而不是在给定信号上做选择题。评测使用真实 A 股数据,模型能看到的反馈只来自 2022 至 2023 年,之后必须冻结一套策略,交给封存的 2024 年数据检验。这一设计把「研究期表现」和「研究期之外是否有效」分开,避免模型针对可见区间反复调参。

成本与约束如何计入

策略不是按理想价格成交来打分。评估器以现金账户的方式运行,计入交易约束与交易成本,其中市场冲击由模拟订单簿估算。这意味着换手越高、下单越激进,付出的代价越明显,靠高频倒手刷收益的做法会被成本抵消。评分主体是实际实现的超额收益,同时用信号质量与策略所使用特征的多样性作为补充维度,避免只看单一收益数字。

九款模型的结果

团队测试了九款前沿模型,GPT-6 Astra 得分最高。但在 2024 年的封存区间里,没有任何一款模型的策略跑赢等权市场组合。这一结果说明,在当前设定下,模型尚不能稳定产出超越简单基准的选股策略,得分高低与能否战胜市场并不同步。基准与公开排行榜接受任意模型或智能体框架提交,后续可用来观察新模型与新框架在这一闭环上的进展。

为什么值得看

它把评测从写公式、写代码推进到完整研究闭环,并给出一个不乐观的结论:现有模型尚不能稳定产出超越市场的策略。

GPT智能体量化

信源1 家

  1. [1]arXiv cs.AI一手信源Quant-Arena: Benchmarking LLM Agents for Quantitative Trading Research

关键事实

  • Quant-Arena 使用真实 A 股数据,模型仅在 2022 至 2023 年数据上获得反馈,策略冻结后在 2024 年数据上评估[1]

  • 评估器按现金账户规则计入交易约束与成本,市场冲击由模拟订单簿估算[1]

  • 评分以实际超额收益为主,辅以信号质量与策略所用特征的多样性[1]

  • 九款前沿模型中 GPT-6 Astra 得分最高,但没有模型在 2024 年跑赢等权市场[1]

  • 该基准与排行榜接受任意模型或智能体框架提交[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。