论文提出基于NeMo-Guardrails的SIEM/XDR受限动作AI修复架构
论文AI 评分 65/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对LLM作为安全运营中心推理引擎时易受对抗性告警注入诱导执行危险命令的风险，该论文提出双层受限动作架构。第一层在SIEM/XDR控制平面采用封闭意图词汇表与参数校验器约束执行；第二层用NeMo-Guardrails代理为LLM加输入输出护栏。在自发布对抗语料库评测中，该代理将注入召回率从25.0%提至94.5%（误报率0.1%）。红队演练证实该架构能在命令越过信任边界前遏制失效模式。因护栏延迟，该架构适于人机协同或延迟执行，暂未实测于工控环境。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载安全运营LLM注入风险
安全运营中心面临海量告警与分析师不足的矛盾，大语言模型被提议作为推理引擎对告警分流，并在自主部署中下达封禁IP、终止进程或隔离文件等命令。此耦合引入新风险：单一对抗性告警可成为穿透模型推理的远程代码路径，诱导其推荐危险动作并由安全运营中心执行，导致生产主机受损。
双层受限动作架构设计
为应对上述风险，论文提出双层协调架构。第一层为SIEM/XDR控制平面，将修复动作锚定于关联主机事件，将模型输出限制于封闭意图词汇表，其模板化命令由轻量端点代理执行，并以参数校验器兜底。第二层为NeMo-Guardrails代理，用输入输出护栏策略包裹模型，并针对所发布的特定对抗语料库进行开箱即用评估。
防护效能与部署限制
评测显示，默认代理在0.1%误报率下将注入召回率从25.0%提至94.5%。红队演练证实封闭意图词汇表与参数校验器能在命令越过信任边界前遏制模型失效模式。作为架构适配，其受限动作特性适合错误修复会引发物理后果的关键基础设施。但受测护栏延迟影响，该闭环不适于内联控制，最佳运行方式为人机协同或延迟执行，且尚未在工控环境进行实测部署。
为什么值得看
为安全领域LLM自主执行修复命令提供防注入架构，注入召回率大幅提升，对关键基础设施防护具参考价值。
安全论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。