ADiCo：用极值搜索控制在线调节多智能体行为多样性
论文AI 评分 62/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇被 IEEE CDC 2026 接收的论文提出 Adaptive Diversity Control（ADiCo），用于协作式多智能体强化学习。该框架分两个时间尺度：快尺度上由 Diversity Control（DiCo）把系统多样性调节到目标值，慢尺度上用极值搜索控制器（ESC）仅依据平均回合回报调整该目标，不需要显式模型或多样性—性能关系的解析梯度。作者在两个协作 MARL 任务的六种配置上测试，ADiCo 能维持与任务匹配的多样性水平，性能达到或超过网格搜索最优多样性目标的 DiCo，以及不设目标约束的 Unconstrained DiCo。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
协作式多智能体强化学习中，智能体需要在相同观测下形成不同但互补的控制策略，这种行为多样性是协调是否有效的关键指标。多样性有助于角色分工和更丰富的联合行为，但合适的多样性水平高度依赖具体情境与任务，调参代价高。论文针对的正是这一痛点：与其为每个任务手工挑选多样性目标，不如让训练过程自己找到合适的值。
双时间尺度怎么做
ADiCo 把控制拆成两个时间尺度。快尺度上是 Diversity Control（DiCo），负责把系统多样性拉向一个目标值；慢尺度上是 Extremum Seeking Controller（ESC），根据平均回合回报来调整这个目标值本身。关键在于 ESC 只用到平均回合回报这一信号，既不需要显式模型，也不需要多样性—性能关系的解析梯度，因此避免了为这种关系建模或求导的麻烦。
实验与结果
作者在两个协作式 MARL 任务、共六种配置上评估 ADiCo。结果显示它能维持与任务相称的多样性：当同质策略更有利时保持较低多样性，当需要异质策略时提高多样性。经过这种自适应，ADiCo 的平均性能达到或超过两个对照基线——用网格搜索找到最佳多样性目标的 DiCo，以及不设目标约束、让多样性自由涌现的 Unconstrained DiCo。论文由此说明，把经典反馈控制引入 MARL 训练，可以为手工选择多样性目标提供一种系统化替代方案。
为什么值得看
把经典反馈控制引入 MARL 训练，免去手工调多样性目标，做多智能体协作的读者可关注其可迁移性。
智能体强化学习论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。