EnvLunch：用可执行环境做免标注预热训练智能体
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
论文提出 EnvLunch，一种在下游智能体强化学习之前进行的预热阶段。它不依赖人工或模型编写的任务描述，而是从可执行环境（如数据库）中采样有效动作轨迹并执行得到最终观测，再训练智能体仅凭最终观测还原出功能等价的轨迹。这种无标签预热使模型在所有下游训练预算上平均超过基线 9 分以上；在标注样本很少时，基线需要 8 到 32 倍的标注样例才能达到 EnvLunch 模型最小训练预算下的准确率。让环境本身定义任务，比让模型自行编写任务带来更大收益，该预热对数据分析之外的基准微调也有帮助。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载免标注的预热思路
论文关注的是智能体做数据分析时与可执行环境（数据库）交互的训练问题。高质量标注任务需要大量人工投入，而可执行环境本身已经包含丰富的交互结构和可验证的结果。EnvLunch 把这一环境信号转化为训练数据：先采样有效的动作轨迹，实际执行得到最终观测，再要求智能体只根据最终观测还原出一条功能等价的轨迹。整个过程不需要人工撰写任务描述，也不需要模型自己生成任务，因此被作者称为环境提供的免费午餐。
量化收益与对比
在实验中，这一无标签预热让模型在所有下游训练预算上平均比基线高出 9 分以上。标注样本有限时差距更明显：基线需要 8 到 32 倍的标注样例，才能达到 EnvLunch 模型在最小训练预算下取得的准确率。作者还比较了任务来源的差异，发现仅由环境定义任务所带来的增益，大于让模型在相同环境上自行编写任务。此外，该预热不仅服务于数据分析场景，对其它基准上的微调也有改善，说明它提供的是一个更好的智能体微调起点。
为什么值得看
为缺少标注任务的智能体训练提供了一条免人工标注的预热路径，并给出与基线的量化对比。
智能体微调强化学习论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。