FleetPilot 提出细粒度干预框架，实现 LLM 个性化免训练部署
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
arXiv 收录的论文提出 FleetPilot，一种面向大语言模型个性化的细粒度干预框架。它从用户数据中动态生成样本级干预向量，注入模型前向传播过程完成适配，包含匹配对比、细粒度干预组件与查询条件聚合模块三部分。实验覆盖短到长文本生成与网页函数调用等场景，在偏好快速变化和数据稀疏环境下表现突出。该方法无需训练周期，存储与推理延迟开销较低，代码已公开。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载个性化适配的既有代价
论文指出，让大语言模型贴合个体用户偏好，需要从有限、异构且不断变化的交互历史中推断与查询相关的偏好。现有做法大致分三类：上下文内个性化、参数化适配、个性化奖励建模。它们各自带来持续成本——上下文管理开销、模型优化与部署开销、多候选生成与打分开销。当用户可观测数据稀疏、每次查询相关的偏好证据又随情境和时间变化时，这些限制会进一步放大。FleetPilot 的出发点正是绕开这些反复发生的成本。
干预向量如何注入前向传播
FleetPilot 被描述为一个细粒度、按实例定制的干预框架。它从用户数据中动态生成样本级的干预向量，直接注入模型的前向传播，从而实现个性化适配。框架由三个组件构成：匹配对比负责产生与用户相关的信号；细粒度干预组件通过挂钩注意力层与 MLP 层的激活值来捕捉更细微的信号；查询条件聚合模块则把这些信号合成为与当前上下文相关的增强。三者配合，使干预随查询和用户状态变化，而非固定一套参数。
评测场景与部署特性
论文在多种场景下做了实验，包括短文本到长文本的生成，以及网页函数调用。结果显示该方法能稳定带来性能提升，并在偏好快速变化、数据稀疏的环境中表现出明显优势。部署层面，FleetPilot 不需要训练周期，存储或推理延迟只增加较轻的开销，作者据此认为它具备真实环境部署的可行性。论文同时提供了实现代码的公开链接。
为什么值得看
免训练、低开销的个性化方案，对需要按用户实时调整模型行为的落地场景有直接参考价值。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。