FrontierPhysics 基准发布：56 项任务考察智能体端到端物理研究
论文AI 评分 78/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一个名为 FrontierPhysics 的端到端基准被提出，用于评估 AI 智能体完成完整物理研究的能力。该基准包含 56 项任务，由 42 位物理学家依据自身研究设计，覆盖理论、计算与实验物理的九个领域。每项任务要求智能体检索文献、制定研究计划、开展研究与实验，并产出结构化结果和科学论文手稿。评测结合确定性校验器与专家撰写的评分标准，同时考察研究结论是否正确、成果是否达到可发表水平。在 22 个模型、26 种配置下，没有任何配置在 168 次运行中通过超过 46 次。对智能体轨迹的人工复核显示，前沿智能体的主要短板在于推理不够严谨、专家直觉有限，而非物理知识欠缺或执行出错。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载基准的构成与来源
FrontierPhysics 的 56 项任务并非由通用题库改写，而是 42 位物理学家从自己的研究工作中提炼而来，因此任务带有真实科研的开放性。覆盖范围横跨理论、计算与实验物理九个领域，意味着评测不局限于某一种研究范式。每项任务都要求智能体走完一条完整链路：先检索文献，再形成研究计划，随后实际开展研究与实验，最后给出结构化输出并撰写科学论文手稿。这种设计把评测对象从“回答问题”推向“做出一项研究”。
评分方式与考察重点
该基准把确定性校验器与专家撰写的评分标准结合起来使用。前者用于核对可自动判定的部分，后者用于判断研究质量。与只检查答案对错的既有物理基准相比，FrontierPhysics 同时追问两件事：研究结论是否正确，以及成果是否达到可发表的水平。材料指出，已有基准多评估固定题目、孤立子任务，或在给定解法下复现论文，很少把研究质量与正确性放在一起检查。
评测结果与短板定位
评测覆盖 22 个模型、26 种配置。结果显示，没有任何一种配置在 168 次运行中通过超过 46 次。对智能体轨迹的人工复核进一步指出，前沿智能体的主要弱点集中在推理不够严谨以及专家直觉有限，而不是物理知识不足或执行环节出错。这一结论把改进方向从“补知识”转向“提升推理纪律与研究判断力”。论文篇幅为 41 页，其中正文 10 页。
为什么值得看
首个以真实科研流程和可发表性为标准的物理智能体评测，揭示了当前模型在严谨推理上的短板。
智能体论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。