KaliBench發佈：專測LLM網安工具調用，8B模型微調後比肩685B
論文AI 評分 78/100arXiv cs.AI
AI 聚合
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
針對LLM在網安場景下將自然語言轉為CLI指令的能力缺乏直接評測的問題，KaliBench基準被提出。該數據集包含8504個查詢-指令對，覆蓋Kali Linux的1642個工具、23個能力維度與5個安全階段。評測採用多階段驗證管線確保可執行性，並支持無運行時可驗證獎勵用於訓練。對24種開源模型配置的測試顯示，無工具提示時最高精確指令準確率不超42%。利用該基準的獎勵對8B模型做SFT與RL訓練後，其表現可媲美685B MoE模型。該工作已被NeurIPS 2026接收。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載網安CLI生成評測痛點
大語言模型正被廣泛引入網安工作流，需將分析師意圖轉化為工具調用指令。現有評估多側重知識問答或端到端智能體任務，未直接衡量模型生成真實網安工具可執行指令的能力。網安操作依賴嚴格的命令行接口，微小的語法錯誤、錯誤的標誌符與值綁定或參數錯位均會導致執行失效，這一評測空白極為關鍵。
基準構建與驗證管線
KaliBench專為Kali Linux上的自然語言至CLI轉換而設，通過基於手冊的管線構建，採用確定性規範化與別名感知評估，確保工具選擇與參數構造的精準可復現評估。為兼顧語義正確與實際可執行性，開發了結合LLM驗證、沙箱終端執行與人工介入優化的多階段驗證管線。基於這些細粒度確定性信號，該基準還能提供無運行時的可驗證獎勵用於模型訓練。
模型表現與訓練收益
對通用及網安開源模型在三種評測模式與24種配置下的測試表明，無顯式工具提示時，開源模型精確指令準確率均不超42%，凸顯準確調用網安CLI工具的難度。研究進一步表明，利用KaliBench導出的可驗證獎勵，對8B參數模型進行監督微調與強化學習，能大幅提升其表現，最終達到與685B參數MoE模型相當的水平。
為什麼值得看
揭示當前LLM網安CLI生成能力極弱，並證明用可驗證獎勵訓練小模型可逼近685B級大模型。
微調安全開源模型MoE數據集
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。