Select-TTT 提出按查询相关性调节快速权重写入强度
论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
arXiv 论文 Select-TTT 针对 In-Place TTT 在真实网页长上下文问答中收益消失的问题给出改进。作者认为原因在于 In-Place TTT 对每个文本块采用相同的写入强度，无关内容会稀释快速权重记忆中与查询相关的信息。Select-TTT 是一种与模型无关、以查询为条件的规则：用模型冻结输出头读取每个文本块隐藏状态分配给查询词的概率质量，作为无需监督、无需新增参数的相关性信号，再经温度缩放的 softmax 转成学习率乘数，同时保留 In-Place TTT 按块、上下文并行的计算方式。在两个基准和两个骨干模型上，长上下文问答表现均有提升。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载统一写入策略的问题
论文先指出 In-Place TTT 的一个实际短板：该方法把标准 MLP 块的下投影当作快速权重，让已部署的语言模型在推理时把到来的上下文写入一小组参数，而不只是把它当作注意力里的临时上下文。但在真实的网页长上下文问答场景中，这种做法的收益基本消失。作者把原因归结为写入日程过于均匀——每个文本块都以同等强度写入，与问题无关的内容同样占据快速权重记忆，从而稀释了与查询真正相关的信息。
用查询相关性调节写入
针对上述问题，作者提出 Select-TTT：一条与具体模型无关、以用户查询为条件的规则，按每个文本块与查询的相关程度缩放其写入强度。关键在于相关性信号的获取方式——不需要额外监督，也不引入新参数，而是直接从模型冻结的输出头读出：某个文本块的隐藏状态在查询词上分配的概率质量，就作为该块的相关性得分。随后用带温度缩放的 softmax 把这些得分转成学习率乘数，逐块调节写入力度。
兼容原有并行计算
这种加权只改变每个块的写入强度，不改变 In-Place TTT 原有的按块、上下文并行计算结构，因此改动落在调度层面而非模型结构层面。论文在两个基准、两个骨干模型上验证，长上下文问答指标都得到稳定改善。作者据此认为，以查询为条件控制快速权重写入，对实际的长上下文问答测试时训练有价值；对于需要在不断演化的上下文上回应多次用户查询的长程智能体任务，这一方向也可能有用。
为什么值得看
想用测试时训练处理长上下文问答的团队，可关注这种零参数、免标注的写入加权思路。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。