arXiv 论文测试三个小模型意见模拟中的补集一致性
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载检验的问题设定
论文关注 LLM 智能体意见模拟中的一类状态更新：每个智能体看到自己上一轮的概率以及邻居报告的概率后，给出某条断言为真的概率，这个数值成为它下一轮的状态。作者提出的判据是，如果这个数值表达的是智能体对断言所持的立场，而不是对某句具体措辞的反应，那么把断言改写成它的否定形式、同时把每个概率 p 换成 1-p，得到的回答应当与原来互补，两份报告相加应等于 1。这一检验针对的是措辞变化下的一致性，而不是模型对事实本身的判断准确率。
三个模型上的实测结果
实验使用 Qwen3-4B、Llama-3.2-3B 与 Gemma-3-4B 三个小规模开放模型。在取自一个运行中网络模拟的 2304 个智能体状态上，Qwen 的成对报告平均相加为 1.18，偏离了理论上的 1；在来自 AVeriTeC 的 48 条真实事实核查断言上，成对之和同样大于 1。作者另外构造了 24 个各含恰好两种可能结果的控制基准，三个模型在该基准上都表现出同样的失败。偏差幅度是同义改写所引起变化的 2 到 10 倍，并且在重复采样、改变同伴组规模与报告强度之后依然存在。
对模拟动态的影响
论文进一步把报告反馈进两个从互补状态出发的群体，观察它们是否保持镜像关系。结果显示两个群体并未维持互为镜像：对每个模型而言，五轮之后两者的分歧均为正值。作者还测试了一种修正方式，即把每个答案与其配对答案的补集取平均，这种做法按构造即可恢复一致性，并降低两种措辞上的平均 Brier 损失；但在最终轮，它只在三个模型中的一个上优于两种原始措辞里较好的那个。此外，在同一模型上进行的 schedule-by-targeting 实验因为这类扫描保持断言措辞固定，只给出很小且稳定的交互效应。
结论指向的检验要求
作者由此提出，在把模拟得到的概率当作信念来解读之前，改写措辞下的一致性需要单独检验。这一结论对使用 LLM 智能体做意见演化、舆情推演或多智能体协商的实践有直接含义：模型输出的数值可能部分反映的是对措辞的敏感度，而非稳定的立场，若不先做补集一致性测试，模拟结果的可解释性会受到限制。
为什么值得看
如果模拟出的概率会随措辞翻转，就不能直接当作智能体的信念读数；做 LLM 意见模拟或多智能体推演的人需要先补上这项一致…
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。