研究评估LLM多智能体生成医疗决策权重的可靠性

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文提出评估框架,检验用 LLM 智能体团队代表不同利益相关方、为医疗运营多准则模型提供权重是否可靠。研究在门诊预约排程中让智能体显式给准则重要性打分,又在急诊科配置的两两选择中推断隐式权衡。结果显示:显式偏好会随诊所运行条件变化、也因角色不同而不同,但智能体之间的商议过程会抹平这些差异,简单平均反而能保留差异;隐式偏好所依据的两两选择很大程度上取决于选项呈现顺序,而加入上下文信息的统计模型在预测新比较对时,相比只用呈现顺序的模型优势有限。作者据此构建稳健加权和优化模型处理偏好不确定性,多数情况下选出的排程或配置与使用平均权重的结果不同,认为此类偏好用作优化权重前需要审计。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

问题设定与评估框架

医疗运营中的多准则模型需要权重,用来表达利益相关方如何在患者等待时间、服务方工作负荷与运营成本之间取舍,但这些权重难以量化。该研究设想由一组 LLM 智能体分别扮演不同利益相关方来提供权重,并提出一套框架,评估这类偏好作为多目标优化输入时的可靠性,同时量化偏好不确定性会如何传导到最终决策。研究把偏好分成两类考察:一类是显式偏好,即直接让智能体对准则重要性打分;另一类是隐式偏好,即从智能体对备选方案的两两选择中反推权衡关系。

显式偏好与商议的影响

显式偏好实验放在门诊预约排程问题上,要求智能体对各准则的重要性作出评分。实验发现,这些评分会随诊所运行条件的变化而变化,不同角色给出的偏好也存在差异,说明智能体并非输出千篇一律的结果。但研究同时发现,若让智能体之间进行商议,这些差异会被抹平;相比之下,直接对多个智能体的结果取简单平均,反而能保留角色之间的分歧。这一对比提示,引入多智能体讨论不一定提升偏好表达的区分度。

隐式偏好与顺序效应

隐式偏好通过急诊科配置的两两比较来推断。实验显示,智能体的选择在很大程度上取决于两个选项中哪一个先被呈现,顺序因素影响明显。研究进一步比较了两类预测模型:一类在呈现顺序之外还使用上下文信息,另一类只用呈现顺序;在新比较对上的预测表现,前者优于后者的证据有限。这意味着仅凭两两选择反推出的权衡关系稳定性不足,容易被呈现方式左右。

对优化结果的影响与审计建议

在获得偏好及其不确定性后,研究构建稳健加权和优化模型,把偏好不确定性纳入求解。结果显示,多数情况下这类模型选出的排程或配置,与直接使用平均偏好权重得到的结果并不相同,说明偏好层面的波动会实际改变决策输出。作者据此提出,LLM 生成的偏好在被用作医疗决策支持中的优化权重之前,需要经过此类审计,而不能直接采信。

为什么值得看

把 LLM 智能体当作利益相关方代理来产出决策权重,是医疗运营等高风险场景的常见设想;该研究给出了这类做法失效的具体位…

智能体量化论文

信源1 家

  1. [1]arXiv cs.AI一手信源On the possibilities and limitations of LLM-based multi-agent systems for multi-criteria decision-making in healthcare operations management

关键事实

  • 研究提出一个框架,用于评估 LLM 生成偏好作为多目标优化输入的可靠性,并量化其不确定性对决策的影响。[1]

  • 显式偏好实验让智能体对门诊预约排程中各准则的重要性打分,结果显示偏好随诊所运行条件变化且因角色而异。[1]

  • 智能体之间的商议会抹平角色间的偏好差异,而简单平均可以保留这些差异。[1]

  • 隐式偏好通过急诊科配置的两两选择推断,选择结果很大程度上取决于哪个选项先呈现。[1]

  • 稳健加权和优化模型在多数情况下选出的排程或配置,与使用平均偏好权重得到的结果不同。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。