研究用GRPO训练模型生成if-then规则以改进心智理论推理
论文AI 评分 68/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇投稿于arXiv的论文研究如何让大语言模型在心智理论（ToM）推理中把感知、信念与行动显式连接起来。作者生成简短的if-then规则表达从感知到行动的关系，并用GRPO在四个ToM基准上训练Qwen2.5与Llama3模型。结果显示，带规则生成的GRPO优于提示、监督微调与think推理；参数量不低于3B的较大模型生成的规则还能迁移，提升GPT-4o-mini的下游表现。作者认为显式规则有助于弥合ToM推理差距并支持跨模型知识迁移。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
论文关注心智理论推理中的一个脱节现象：大语言模型有时能正确推断出智能体的心理状态，却在预测或评判该智能体后续行动时用不上这一推断。作者想验证，如果把感知、信念与行动用规则显式连接起来，是否能改善这类推理。为此他们生成简短的if-then规则，用来表达从感知到行动之间的关系，再把这些规则纳入训练流程。
方法与对比
训练采用Group Relative Policy Optimization（GRPO），在四个心智理论基准上对Qwen2.5和Llama3模型进行训练。作者把带规则生成的GRPO与几种常见做法做了对比，包括提示、监督微调以及think推理，结果显示带规则生成的GRPO表现更好。这说明规则这一显式形式在训练中起到了作用，而不只是靠提示或微调就能达到。
跨模型迁移
论文还报告了一个迁移结果：参数量不低于3B的较大模型所生成的规则，可以作为可迁移的知识，用来提升GPT-4o-mini的下游表现。也就是说，规则不只对生成它的模型有用，还能被别的模型借用。作者据此认为，显式规则有助于模型弥合心智理论推理中的差距，并支持模型之间的知识迁移。
为什么值得看
给出一种用规则加强化学习弥合ToM推理与行动脱节的方法，并验证规则可跨模型迁移。
GPTLlamaQwen大模型微调
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。