SumOne：独立训练的历史摘要器，为智能体压缩上下文
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究者提出 SumOne，一个独立训练的摘要器，用于压缩长程语言模型智能体的交互历史。它不依赖下游任务结果或求解器行为：给定已过期历史的摘要，冻结的重构器还原原始轨迹中被随机遮蔽的部分，重构质量加长度惩罚构成与任务无关的奖励，用 GRPO 优化摘要器，监督信号直接来自原始轨迹，无需参考摘要或执行下游任务。推理时只保留轻量摘要器，未改动的智能体即可即插即用地压缩上下文。在长程搜索与软件工程任务上，相对使用完整上下文，DeepSearchQA 的估计推理成本降低约 78%，SWE-bench Verified 降低约 75%，绝对下降 0.04；同一检查点无需额外微调即可迁移到其他下游模型与智能体框架。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载独立摘要器与掩码重建
SumOne 是一个单独训练的摘要器，目标是在智能体的交互历史中保留信息，做法是掩码重建。具体流程是：先拿到一段已经过期的历史所对应的摘要，再由一个参数冻结的重建器去还原原始轨迹中被随机遮住的部分。重建的质量与一项长度惩罚合在一起，构成一个与具体任务无关的奖励信号，用来通过 GRPO 优化摘要器。这样一来，监督信号直接来自原始轨迹本身，既不需要人工写好的参考摘要，也不需要把训练挂在下游任务的执行结果或求解器行为上。论文把这一点视为与已有学习式压缩方法的主要区别：那些方法往往依赖下游任务表现，因而把训练和特定任务或特定智能体绑在一起。
推理阶段只留轻量摘要器
在推理时，系统只保留那个轻量的摘要器，其余部分不动，因此可以即插即用地对上下文做压缩，原本的智能体无需改动。作者在长程搜索与软件工程两类任务上做了系统评测。相对使用完整上下文运行，SumOne 在 DeepSearchQA 与 SWE-bench Verified 上都降低了估计的推理成本，同时绝对降幅为 0.04。同一个检查点还能迁移到不同的下游模型与智能体框架上，不需要额外微调。对使用长程智能体的读者来说，这意味着上下文压缩可以作为一个外挂组件接入，而不必重新训练求解器或改写任务流程。
为什么值得看
把上下文压缩从任务耦合中解耦，给出可即插即用、跨模型迁移的轻量方案，并附成本与效果数字。
智能体微调
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。