論文提出基於NeMo-Guardrails的SIEM/XDR受限動作AI修復架構
論文AI 評分 65/100arXiv cs.AI
AI 聚合
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
針對LLM作為安全運營中心推理引擎時易受對抗性告警注入誘導執行危險命令的風險，該論文提出雙層受限動作架構。第一層在SIEM/XDR控制平面採用封閉意圖詞彙表與參數校驗器約束執行；第二層用NeMo-Guardrails代理為LLM加輸入輸出護欄。在自發布對抗語料庫評測中，該代理將注入召回率從25.0%提至94.5%（誤報率0.1%）。紅隊演練證實該架構能在命令越過信任邊界前遏制失效模式。因護欄延遲，該架構適於人機協同或延遲執行，暫未實測於工控環境。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載安全運營LLM注入風險
安全運營中心面臨海量告警與分析師不足的矛盾，大語言模型被提議作為推理引擎對告警分流，並在自主部署中下達封禁IP、終止進程或隔離文件等命令。此耦合引入新風險：單一對抗性告警可成為穿透模型推理的遠程代碼路徑，誘導其推薦危險動作並由安全運營中心執行，導致生產主機受損。
雙層受限動作架構設計
為應對上述風險，論文提出雙層協調架構。第一層為SIEM/XDR控制平面，將修復動作錨定於關聯主機事件，將模型輸出限制於封閉意圖詞彙表，其模板化命令由輕量端點代理執行，並以參數校驗器兜底。第二層為NeMo-Guardrails代理，用輸入輸出護欄策略包裹模型，並針對所發佈的特定對抗語料庫進行開箱即用評估。
防護效能與部署限制
評測顯示，預設代理在0.1%誤報率下將注入召回率從25.0%提至94.5%。紅隊演練證實封閉意圖詞彙表與參數校驗器能在命令越過信任邊界前遏制模型失效模式。作為架構適配，其受限動作特性適合錯誤修復會引發物理後果的關鍵基礎設施。但受測護欄延遲影響，該閉環不適於內聯控制，最佳運行方式為人機協同或延遲執行，且尚未在工控環境進行實測部署。
為什麼值得看
為安全領域LLM自主執行修復命令提供防注入架構，注入召回率大幅提升，對關鍵基礎設施防護具參考價值。
安全論文
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。