AI 圈大事记

MiST 模型通过中段训练提升网络安全能力

论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手

研究团队发布了 MiST(Mid-trained Security Transformer)8B 和 32B 模型,专注于网络安全领域。该方案在通用预训练和领域训练之间引入中段训练阶段,利用专家审核的种子语料生成高质量合成数据进行训练。结果显示,MiST 在公开网络安全基准测试中表现优异,8B 和 32B 版本的平均准确率分别比 Qwen 基线提升了 13.1 和 8.6 个百分点,相对提升分别为 27.0% 和 15.8%。

为什么值得看

展示了利用合成数据在特定高技术门槛领域高效提升模型性能的可行路径。

Qwen安全基准测试

信源1

  1. [1]arXiv cs.AI一手信源MiST: Mid-Training LLMs for Cybersecurity

关键事实

  • MiST 包含 8B 和 32B 两个参数规模的模型。[1]

  • 8B 和 32B 模型较 Qwen 基线准确率分别提升 13.1 和 8.6 个百分点。[1]

  • 方法采用中段训练,使用专家审核种子语料生成合成数据。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。