注册

arXiv 论文评测 7 个开源小模型的后渗透代码生成能力

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇提交至 arXiv 的论文系统评测了 7 个开源小语言模型（参数量 20M 至 1.5B）在两项后渗透代码生成任务上的表现：目录枚举与后门生成，并对比 Python 与 Lua 两种语言、多种提示策略、任务表述方式、迭代推理、语法约束解码与执行反馈循环。结果显示，攻击性代码生成能力并不随模型规模线性增长，成功执行取决于模型容量、任务表述与提示策略的相互作用，其中任务表述的影响大于单纯的提示工程。采用算法化表述配合少样本提示时，Qwen2.5-Coder 1.5B 在目录枚举任务上 Python 与 Lua 的 Pass@5 均达 100%，后门生成任务 Python 为 100%、Lua 为 99.2%。作者指出，现有模型的计算开销仍过大，难以广泛用于当前恶意软件，但小模型的快速进步可能降低这一门槛。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

评测对象与任务设定

论文关注的是超紧凑模型能否在恶意软件的后渗透阶段提供支持。研究选取 7 个开源小语言模型，参数量跨度从 20M 到 1.5B，覆盖资源受限场景下可本地运行的量级。评测聚焦两项具体的代码生成任务：目录枚举与后门生成。这两项任务都要求模型输出可直接执行的代码，因此评价标准落在执行成功率上，而非文本相似度。作者同时选择 Python 与 Lua 作为目标语言，前者属于高资源语言，训练语料充足；后者属于低资源语言，可用于观察模型能力在语料稀缺时的衰减程度。这一设计使结论不局限于单一语言生态。

变量对比与关键结论

实验在多个维度上做交叉对比：不同的提示策略、任务表述方式、迭代推理、语法约束解码以及执行反馈循环。核心发现是攻击性代码生成能力与模型规模之间不存在线性关系，参数量更大的模型并不必然表现更好。真正决定执行成败的是模型容量、任务表述与提示策略三者的相互作用，其中任务表述带来的影响超过单纯的提示工程优化。换言之，如何把任务拆解成算法步骤，比反复打磨提示措辞更关键。这一结论对理解小模型的能力上限具有一般性意义，并不限于安全场景。

具体成绩与部署门槛

在算法化表述结合少样本提示的配置下，Qwen2.5-Coder 1.5B 在目录枚举任务上于 Python 和 Lua 两种语言中均达到 Pass@5 100%；在后门生成任务上，Python 达到 100%，Lua 为 99.2%。这说明即便是参数量仅 1.5B 的模型，在合适的任务组织方式下也能稳定产出可执行代码。不过作者明确指出，所评测模型的计算开销仍然偏大，尚不足以广泛部署于当下的恶意软件中。同时作者提示，紧凑模型的快速进展可能逐步削减这一障碍，相关发现可用于预判 AI 辅助恶意软件的发展，并为后续防御手段提供参考。

为什么值得看

小模型能力边界与安全风险的交汇点：参数量不再是攻击性代码生成的唯一决定因素，任务表述方式影响更大。

Qwen代码生成论文

信源1 家

  1. [1]arXiv cs.AI一手信源From Billion-Scale to Million-Scale Language Models: Operational Capabilities for Embedded Post-Exploitation

关键事实

  • 论文评测了 7 个开源小语言模型，参数量范围 20M 至 1.5B[1]

  • 评测任务为目录枚举与后门生成两项后渗透代码生成任务[1]

  • 对比覆盖 Python 与 Lua，以及提示策略、任务表述、迭代推理、语法约束解码、执行反馈循环[1]

  • 算法化表述加少样本提示下，Qwen2.5-Coder 1.5B 在目录枚举的 Python 与 Lua 上 Pass@5 均为 100%[1]

  • 同一配置下后门生成 Pass@5 为 Python 100%、Lua 99.2%[1]

相关 · 论文

研究者提出用「逆向博弈论」约束AI智能体行为

11月3日 周二·AI 58

OpenAI 研究：智能体安全评测与生产行为存在差距

11月3日 周二·AI 78

北大孙仲联合IBM等发布综述，重新定义现代模拟计算

11月3日 周二·AI 72

OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出

11月3日 周二·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论