KARMA:免训练知识原子化框架提升广告智能体表现

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 KARMA 框架,用于工业广告智能体在不更新模型权重、不改动可执行 harness 代码的前提下持续演化决策知识。该框架维护六类带类型标注的知识模块,由确定性 Trace Verifier 把观察到的错误映射到候选模块,Critic 对比成功与失败轨迹来指导受工具约束的 Evolver 做原子化知识编辑;固定验证门只在实测增益达到阈值时保留编辑,否则回滚到上一知识状态。作者在约五十万条真实运营日志、六个电商域上,用三个 LLM 系列做评测,18 个域-模型设置下平均留出分数从 30.19 升至 39.15(+8.96 分,+29.7%)。消融显示去掉成功或失败轨迹任一侧,平均增益减半以上;演化后的知识可跨域迁移,所有源-目标对平均增益 8.54 分。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

框架怎么运作

KARMA 全称 Knowledge-Atomic, Regression-Gated Modular Adaptation,核心做法是不动模型权重,也不改可执行的 harness 代码,而是让六类带类型标注的知识模块随业务变化演化。演化循环里,确定性 Trace Verifier 先把观察到的错误定位到候选模块,再由 Critic 对比成功轨迹与失败轨迹,为受工具约束的 Evolver 提供方向。Evolver 只做原子化的知识编辑,每次改动都要经过固定验证门:实测增益达到阈值才保留,否则回滚到上一版知识状态。这样知识更新被拆成可单独审查的小块,而不是整体重训。

评测规模与结果

评测覆盖约五十万条真实运营日志,横跨六个电商域,并选用三个 LLM 系列,共形成 18 个域-模型设置。在这些设置上,平均留出分数从 30.19 提高到 39.15,绝对提升 8.96 分,相对提升 29.7%。消融实验说明两类轨迹都不可少:去掉成功轨迹或去掉失败轨迹,平均留出增益都会减少一半以上,意味着 Critic 的对比信号是增益的主要来源之一。

跨域迁移与可审查性

演化得到的知识在不再做额外适配的情况下也能迁移到其他域,所有源-目标组合的平均留出增益为 8.54 分,说明知识模块承载的是可复用的决策经验,而非绑定单一场景的补丁。论文还强调,保留下来的每个补丁都能关联到对应的诊断证据与验证结果,因此知识适配过程可检查、可回退,适合部署在 Web 市场环境中需要持续跟随商品、流量与运营策略变化的智能体。

为什么值得看

免训练、可回滚、可审查的知识演化路径,对需要频繁跟随商品与流量变化的广告智能体有直接参考价值。

智能体论文

信源1 家

  1. [1]arXiv cs.AI一手信源KARMA: Training-Free Knowledge-Atomic Harness Evolution for Industrial Advertising Agents

关键事实

  • KARMA 在演化过程中保持模型权重与可执行 harness 代码冻结,只改动六类带类型标注的知识模块。[1]

  • 确定性 Trace Verifier 将观察到的错误映射到候选模块,Critic 对比成功与失败轨迹指导受工具约束的 Evolver。[1]

  • 固定验证门仅在原子编辑的实测增益达到阈值时保留,否则恢复此前知识状态。[1]

  • 在约五十万条真实运营日志、六个电商域的 18 个域-模型设置上,平均留出分数由 30.19 提升到 39.15,增幅 29.7%。[1]

  • 消融实验中去掉成功轨迹或失败轨迹任一侧,平均留出增益减少一半以上;跨域迁移平均增益为 8.54 分。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。