arXiv 论文提出首个策略防伪深度强化学习在线资源分配机制
论文AI 评分 66/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出面向在线资源分配的深度强化学习机制，作者称这是首个具备策略防伪性的深度强化学习方案。它由三部分组成：单调神经网络在结构上保证非线性交互，即提高申报价值不会降低被接受的概率，而延长申报时长或增大资源需求不会提高被接受的概率；广义临界支付，即固定其他输入时，取最低被接受的价值；以及通过强化学习或模仿已有规则来训练。在含四类资源、两对合作方的流式场景中，该神经规则达到离线福利上界的 97.8%，线性学习器为 93.8%，先到先得为 89.0%；模仿训练仅用 261 秒就达到 97.5%，比强化学习快约 89 倍。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的两个问题
论文把在线资源分配拆成两个相互牵连的难点。其一是在未来需求不确定的情况下高效分配稀缺资源；其二是让参与方如实申报任务估值与资源需求，也就是策略防伪性。强化学习能凭经验调整分配决策，却未必带来策略防伪性；已有的策略防伪强化学习采用线性分配规则，能表达的资源交互有限；神经机制设计方法表达力更强，但只提供近似的激励保证。论文的定位正是在这一空隙中给出兼顾表达力与激励保证的方案。
三个组件如何配合
方案由三块构成。单调神经网络在构造上就学习非线性交互：申报价值更高不会让接受结果变差，申报时长更长或资源需求更大不会让接受结果变好。广义临界支付定义为在其他输入固定时，仍被接受的最低价值。训练可以走强化学习，也可以模仿一个已有规则。论文指出，单调性与临界支付合起来保证策略防伪性和个体理性，神经规则提供灵活性，模仿则改善训练效率。
实验数字与对比
实验设置是一个含四种资源、两对合作方的流式场景，论文称线性差值规则无法表达这种交互。神经规则取得离线福利上界的 97.8%，线性学习器为 93.8%，先到先得为 89.0%；按论文说法，这分别弥补了剩余最优性差距的 65% 和 80%。训练效率方面，模仿方式在 261 秒内达到 97.5%，约为强化学习的 89 倍速度。论文共 15 页、2 幅图，归入多智能体系统、人工智能与计算机科学中的博弈论分类。
为什么值得看
把策略防伪性从线性规则扩展到深度网络，并给出与线性方法、先到先得的量化对比，值得关注机制设计与在线分配交叉方向的人一看。
强化学习论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。