LOCUS 方法通过低秩微调减少模型输出长度
论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究提出名为 LOCUS 的后训练方法，通过选择任务感知的低秩适应子空间，在保持效用的前提下最小化输出 Token 成本。该方法在 Anthropic HH-RLHF 对话偏好数据上进行了评估，实验对象包括 Pythia-2.8B 和 Qwen2.5-3B 两个约 30 亿参数的解码器骨干网络。结果显示，LOCUS 仅更新 0.24% 至 0.28% 的模型参数，即可将 Pythia-2.8B 的续写长度减少 39.84%，将 Qwen2.5-3B 的续写长度减少 14.87% 至 17.58%，且未对内部偏好诊断产生实质性改变。
为什么值得看
显著降低推理成本与延迟，为长文本生成场景提供高效微调方案。
AnthropicQwen微调
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。