KaliBench发布：专测LLM网安工具调用，8B模型微调后比肩685B
论文AI 评分 78/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对LLM在网安场景下将自然语言转为CLI指令的能力缺乏直接评测的问题，KaliBench基准被提出。该数据集包含8504个查询-指令对，覆盖Kali Linux的1642个工具、23个能力维度与5个安全阶段。评测采用多阶段验证管线确保可执行性，并支持无运行时可验证奖励用于训练。对24种开源模型配置的测试显示，无工具提示时最高精确指令准确率不超42%。利用该基准的奖励对8B模型做SFT与RL训练后，其表现可媲美685B MoE模型。该工作已被NeurIPS 2026接收。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载网安CLI生成评测痛点
大语言模型正被广泛引入网安工作流，需将分析师意图转化为工具调用指令。现有评估多侧重知识问答或端到端智能体任务，未直接衡量模型生成真实网安工具可执行指令的能力。网安操作依赖严格的命令行接口，微小的语法错误、错误的标志符与值绑定或参数错位均会导致执行失效，这一评测空白极为关键。
基准构建与验证管线
KaliBench专为Kali Linux上的自然语言至CLI转换而设，通过基于手册的管线构建，采用确定性规范化与别名感知评估，确保工具选择与参数构造的精准可复现评估。为兼顾语义正确与实际可执行性，开发了结合LLM验证、沙箱终端执行与人工介入优化的多阶段验证管线。基于这些细粒度确定性信号，该基准还能提供无运行时的可验证奖励用于模型训练。
模型表现与训练收益
对通用及网安开源模型在三种评测模式与24种配置下的测试表明，无显式工具提示时，开源模型精确指令准确率均不超42%，凸显准确调用网安CLI工具的难度。研究进一步表明，利用KaliBench导出的可验证奖励，对8B参数模型进行监督微调与强化学习，能大幅提升其表现，最终达到与685B参数MoE模型相当的水平。
为什么值得看
揭示当前LLM网安CLI生成能力极弱，并证明用可验证奖励训练小模型可逼近685B级大模型。
微调安全开源模型MoE数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。