PrismaCoder 开源多模态代码模型与 2M 数据集

论文AI 评分 82/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

研究团队发布 PrismaCoder,面向多模态代码智能,即模型根据文字描述或截图生成图表、网页、动画与半结构化文档。数据侧提出 PrismaForge 分层数据流水线,用合成评分细则把「程序正确、构建良好、渲染后视觉正确」拆成可核查标准,同一套细则既做数据筛选又做强化学习奖励。据此构建 PrismaCoder-2M 数据集,并训练并开源 PrismaCoder-9B 与 PrismaCoder-35B 两个模型,称其大幅领先开源最好水平并可对标领先闭源系统,代码与数据一并公开。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

多模态代码智能的评测缺口

论文把多模态代码智能定义为连接程序符号世界与其执行所生成视觉世界的任务,模型被要求产出图表、网页、动画和半结构化文档,这类需求正在增长。近期闭源模型进展明显,仅凭一段文字描述或一张截图就能生成可交互产物,但其数据与训练过程未公开。开源方向受制于可用数据的数量与质量,以及生产这些数据的流水线和方法。论文认为质量是更难的一环:一个样本必须作为程序是正确的、构建是良好的,并且渲染之后视觉上是对的。现有信号无法同时覆盖这三点——执行通常只返回通过或失败,代码相似度与视觉输出并不对应,任务专用验证器又缺乏泛化能力。

用评分细则统一筛选与奖励

为推进开源进展,作者从数据侧入手,提出 PrismaForge 分层数据流水线,核心是一套合成评分细则,把上述质量因素分解为可逐项核查的标准。这套细则承担双重角色:一方面作为过滤器,用于整理监督语料;另一方面作为奖励信号,驱动视觉编码任务上的强化学习。论文称这种基于细则的流水线在不同模型骨干上都能提升多模态编码表现,说明该做法并非只对某一特定模型结构有效,而是可以迁移到不同底座上复用。

数据集与模型规模

借助 PrismaForge 进行数据合成与过滤,团队构建了 PrismaCoder-2M,论文称其为多模态代码智能领域最多样、且迄今规模最大的开源数据集。模型侧,团队在该数据上训练了 PrismaCoder-9B 与 PrismaCoder-35B 两个版本并全部开源。论文称两者大幅领先开源最好水平,并可与领先的闭源系统相抗衡。代码与数据均已公开,论文标注为进行中的工作。

为什么值得看

开源多模态代码模型与配套数据、训练流水线同时放出,可直接复现或用于自有模型微调。

多模态强化学习论文数据集

信源1 家

  1. [1]arXiv cs.AI一手信源PrismaCoder: Pushing the Boundaries of Open Multimodal Code Intelligence through Decomposed Rubric Synthesis

关键事实

  • 论文提出 PrismaForge 分层数据流水线,核心是合成评分细则,把样本质量拆解为可核查标准[1]

  • 同一套评分细则既用于筛选监督语料,也作为强化学习奖励信号驱动视觉编码任务训练[1]

  • 基于该流水线构建 PrismaCoder-2M,被称为多模态代码智能领域最多样、规模最大的开源数据集[1]

  • 训练并开源 PrismaCoder-9B 与 PrismaCoder-35B 两个模型,论文称其大幅领先开源最好水平并对标领先闭源系统[1]

  • 论文指出执行反馈只给通过或失败、代码相似度无法对应视觉输出、任务专用验证器难以泛化,现有信号均无法同时覆盖三项质量要求[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。