一篇 arXiv 论文提出单关系攻击，可误导 LLM 智能体判断
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载攻击瞄准的是隐含推理依据
论文把注意力放在证据与结论之间那条未被明说的推理依据上，而不是放在证据本身或最终答案上。ORA 的做法是先定位这条关键的隐含依据，再用一句有来源支撑的话对它加以限定，从而把智能体推向错误信念。作者用「单像素」作比，强调干预量极小：只改动推理链条上的一个环节，不伪造事实来源。这也解释了为什么常规的来源核查难以拦住它——句子本身有据可查，问题出在它对推理关系的引导方式上。
十八个模型上的翻转率
实验覆盖生物医学推理与漏洞检测两类任务，共十八个模型。采用 best-of-10 的攻击方式时，原本回答正确的样本被翻转为错误答案的平均比例，在专有模型上为 54.9%，在开放权重模型上为 80.0%。两类模型的差距说明开放权重模型在这类认知攻击面前更脆弱。攻击还表现出迁移性：不需要受害方的反馈，攻击就能生效。作者设置了配对对照，用来区分「定位到正确的隐含依据」与「对依据做限定」这两个环节各自带来的效果。
绕过检查与多智能体失效
论文报告，成功的攻击句子能够通过来源支撑检查，并且不易被识别出来，这意味着仅靠核对句子是否有出处，并不足以发现这类操纵。另一个值得注意的结果来自多智能体场景：在作者设计的平衡压力测试中，多智能体辩论把团队错误率从 50.0% 提升到 59.5%，也就是说，辩论没有纠偏，反而放大了错误。作者由此把隐含推理依据界定为操纵智能体信念的一类认知攻击面，提示推理链条上未被言明的前提本身就是可被利用的入口。
为什么值得看
如果一句有据可查的话就能翻转智能体的结论，那么检索增强与多智能体辩论这类常见防护手段都需要重新评估。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。