单解码器同时做门控与提示生成，端到端精确匹配 0.2619
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载单模型如何兼顾两件事
论文要解决的是主动式助手的两步决策：什么时候插话，以及插什么内容。现有做法把这两步拆开，用一个门控判断是否介入，再交给更大的生成器产出提示。作者改为让一个 1B 解码器同时承担两项任务，门控信号从中间层取出，提示生成在同一次前向计算中完成。评测建立在 28,058 个决策点上，作者把分阶段生成得到的分数视为 oracle 门控下的上限，用来衡量真实门控带来的损失：真实门控之后端到端精确匹配为 0.2619，上限为 0.2971，端到端精确率 0.2387。作者据此认为距离上限仍有相当空间。
门控的收益随模型缩小而收窄
门控的价值体现在精确率和算力两方面。论文给出的对比显示，当背后的生成器是 8B 模型时，门控能带来 4.39 倍的算力节省；换成 1B 生成器后，这一节省降到 1.38 倍。也就是说，生成器越小，单独设置门控在算力上的必要性越弱，这为把两步合并进同一模型提供了依据。在速度上，单模型最终检查点在自动端到端指标上追平或超过双模型流水线，实际耗时比参数规模匹配的 1B 流水线少 1.31 至 1.76 倍；跨三个随机种子，其较深出口的结果与独立门控持平。
记忆画像才是提示质量的关键
论文对影响提示质量的因素做了拆解。移除记忆画像后，精确匹配下降 24.7 个点，重标定后的 BERTScore 从 0.57 落到 0.35，说明提示内容对记忆的依赖很强。相比之下，加入检索或换用更大的生成器，在精确匹配上都没有带来增益。人工评测覆盖 32 段对话、共 1,144 条评分，结果支持记忆画像的作用，并把单模型评为与匹配的 1B 流水线相当、低于 8B 流水线。作者还指出，分级指标与 LlamaPIE 自带的评判器比精确匹配更贴近人工评分，因此把精确匹配作为严格下界来报告。
为什么值得看
把门控与生成压进单个 1B 模型，并给出记忆画像对提示质量贡献的量化证据，对做助手类产品的团队有直接参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。