arXiv 论文提出 LongChang 框架，测试 LLM 能否自主发现被改…
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇提交至 arXiv 的论文提出 LongChang 自动化框架，构建物理定律被改动的模拟世界，让 LLM 充当探索者，在不被告知研究目标、也没有任务提示的情况下操作物体、搭建工具并自行提出问题。另有独立的 LLM 代理负责生成与审查场景、审查工具设计，并依据改动后的物理定律和探索记录判断报告是否正确、是否有实验支撑；探索记录还会反过来推动场景演化，使整个循环无需人工介入。在 12 个 LLM 中，GPT-6-Astra 的发现率为 16.7%，其余 11 个均为 0%。探索记录显示，模型仍会漏掉未被调查的异常现象，对改动定律也只做到部分识别。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载框架如何构造探索环境
LongChang 的核心做法是造出物理规则与日常世界不同的模拟场景，其中一条或多条定律被替换。被评测的模型进入这些场景后扮演探索者，可以摆弄物体、制作工具，围绕自己提出的疑问做实验；整个过程不提供研究题目，也不提示哪条定律被改动。这样一来，考察的重点就从「给定问题能否求解」转向「模型能否先注意到不对劲、再自己把问题问出来」。论文举的例子是重物下落反而更慢这类反直觉现象，模型需要先察觉异常，再设计实验去验证。
多代理分工与闭环
框架把评审环节也交给 LLM：一组代理负责生成和审查场景，一组审查工具设计是否合理，还有代理依据改动后的物理定律与探索记录，判断模型提交的报告是否正确、结论是否有实验支撑。这些探索记录不会用完即弃，而会反馈到场景演化中，推动后续轮次的探索继续展开，使整个循环在无人干预下持续运行。这种设计把「发现」拆成可自动打分的多个环节，减少了对人工标注的依赖。
模型表现与暴露的问题
在 12 个受测模型中，只有 GPT-6-Astra 取得 16.7% 的发现率，其余 11 个均为 0%。即便是有非零成绩的模型，探索记录也显示它遗漏了一些未被调查的异常现象，对改动后的物理定律只做到部分识别。这说明当前模型在自由探索中主动发起假设检验的能力仍有限：多数情况下要么没有注意到异常，要么注意到了却没有把它转化为可验证的实验。该结果也为后续评测提供了一个明确的基线。
为什么值得看
它把「自主科学发现」变成可量化评测：12 个模型里仅 1 个取得非零发现率，其余全为 0%，差距值得关注。
GPT论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。