arXiv 论文提出 CrossProfile 基准，揭示 LLM 群体决策的…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载基准如何构造
论文关注的问题是：LLM 群体讨论被压缩成一段简短记忆交给最终决策者时，记忆应保留哪些内容。作者设计了 CrossProfile 诊断基准，包含 60 个模板，答案键由自动流程校验，共 480 个任务。其核心做法是把支持性事实、诱饵事实和无关事实的归属关系交叉互换，同时保持文本内容不变，从而把“事实被多少智能体持有”与“事实是否有用”这两个因素拆开。这样就能检验按稀有度或按相关性筛选记忆的策略，究竟是在利用有用信息，还是被表面特征误导。
两种筛选策略的失效
按相关性筛选看似合理，但诱饵本身与决策标准相关，因此会被重新选入记忆。在经典隐藏画像配置下，即便使用完美的相关性过滤器，其表现仍比最稀有优先选择低 23 至 31 分。最稀有优先同样不可靠：平均而言它与随机选择相当，只有在稀有事实恰好是有用事实的场景中才占优。作者指出，两种情况下准确率都取决于记忆保留的证据平衡，而非筛选策略本身。测试覆盖 Qwen2.5-7B、Llama-3.1-8B 和两个 DeepSeek 模型，失效位置具有可预测性。
归属标签带来的偏差
决策模型还引入第三类失效，类似社会认同效应：它会给归属多个智能体的事实额外权重。实验显示，去掉归属标签，或在固定行序的前提下随机重新分配归属，经典配置下的准确率提升 13 至 24 分。这意味着智能体数量这一元信息会干扰模型对证据本身的判断。此外，在自然讨论场景中，证据在记忆环节之前就已丢失：使用完整转录的准确率反而低于完全不做笔记，说明问题不只出在记忆压缩策略上。
为什么值得看
多智能体讨论压缩成记忆是常见工程做法，论文用可复现基准指出两种直觉筛选策略的失效位置。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。