一篇 arXiv 論文提出單關係攻擊，可誤導 LLM 智能體判斷
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載攻擊瞄準的是隱含推理依據
論文把注意力放在證據與結論之間那條未被明說的推理依據上，而不是放在證據本身或最終答案上。ORA 的做法是先定位這條關鍵的隱含依據，再用一句有來源支撐的話對它加以限定，從而把智能體推向錯誤信念。作者用「單像素」作比，強調幹預量極小：只改動推理鏈條上的一個環節，不偽造事實來源。這也解釋了為什麼常規的來源核查難以攔住它——句子本身有據可查，問題出在它對推理關係的引導方式上。
十八個模型上的翻轉率
實驗覆蓋生物醫學推理與漏洞檢測兩類任務，共十八個模型。採用 best-of-10 的攻擊方式時，原本回答正確的樣本被翻轉為錯誤答案的平均比例，在專有模型上為 54.9%，在開放權重模型上為 80.0%。兩類模型的差距說明開放權重模型在這類認知攻擊面前更脆弱。攻擊還表現出遷移性：不需要受害方的反饋，攻擊就能生效。作者設定了配對對照，用來區分「定位到正確的隱含依據」與「對依據做限定」這兩個環節各自帶來的效果。
繞過檢查與多智能體失效
論文報告，成功的攻擊句子能夠通過來源支撐檢查，並且不易被識別出來，這意味着僅靠核對句子是否有出處，並不足以發現這類操縱。另一個值得注意的結果來自多智能體場景：在作者設計的平衡壓力測試中，多智能體辯論把團隊錯誤率從 50.0% 提升到 59.5%，也就是說，辯論沒有糾偏，反而放大了錯誤。作者由此把隱含推理依據界定為操縱智能體信念的一類認知攻擊面，提示推理鏈條上未被言明的前提本身就是可被利用的入口。
為什麼值得看
如果一句有據可查的話就能翻轉智能體的結論，那麼檢索增強與多智能體辯論這類常見防護手段都需要重新評估。
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。