arXiv 论文提出因果约束离线强化学习框架用于业务动作定向
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题设定与建模方式
论文关注的是 Next Best Action 系统如何在折扣、促销、生命周期动作等客户干预之间做选择。作者认为已有方法缺少一个能同时满足长期经济价值最大化、复杂运营约束与因果可靠性的统一框架，因此把该问题写成约束马尔可夫决策过程。与常见的纯收益最大化建模相比，这一形式把业务护栏作为约束条件显式写入优化目标之外，使策略在追求长期价值时不能越过这些边界。
因果校正与线性规划结合
在求解层面，作者没有把因果校正当作独立的前置步骤，而是把对客户动态估计的离策略因果校正直接并入约束马尔可夫决策过程的线性规划表达。策略依据客户状态选择动作，在最大化长期价值的同时执行约束。线性规划的对偶量还给出影子价格，可用来读出公平性、用户福利等约束各自的经济代价，这一点提升了策略的可解释性，也便于运营方判断放宽或收紧某项约束的代价。
网约车案例与评估结果
验证场景是网约车优惠券定向，客户状态由 Recency、Frequency、Monetary 三个阶段刻画。评估采用基于模型的离策略方法，因果动态从时间留出集中估计。在观测到的优惠券预算和该 RFM 表示下，优化后的策略把客户终身价值相对估计的行为策略提升 19%，相对短视基线提升 8%。需要留意的是，这些数字来自离策略评估而非线上实验，且当前展示的动作空间只有二值。
适用范围与限制
作者说明该框架与动作类型无关，因此虽然案例只演示了二值动作，方法本身可扩展到管理多种干预的定向系统，作为通用决策模块使用。论文被 ACM RecSys 2026 的 OARS 研讨会接收为口头报告。对读者而言，可迁移的部分是约束建模、因果校正与线性规划求解的组合方式，以及影子价格这一约束代价的读取手段；具体收益幅度则依赖各自的预算条件与状态表示。
为什么值得看
把因果校正与约束优化合进离线 RL 的线性规划解法，并给出约束的影子价格，对做营销定向与推荐决策的人有直接参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。