Paint-Anything 实现图像生成与编辑的任意颜色控制

论文AI 评分 65/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

Paint-Anything 框架通过共享 hex-prompt 接口,实现了图像生成与编辑任务中的任意 24 位十六进制颜色控制。研究构建了包含 50 万样本的数据集,并利用纯色锚点解决真实图像阴影导致的颜色标注偏差。在 FLUX.2-4B 模型上的测试显示,该框架在文生图和编辑任务的基准测试中,分数分别提升了 85.3% 和 28.3%。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

用十六进制值当提示词

Paint-Anything 的核心做法是把 24 位十六进制色值直接当作提示词输入,让同一个接口同时服务于图像生成与图像编辑两类任务。研究团队没有为颜色单独设计表征模块,也没有为推理阶段另设专门流程,而是借助大语言模型本身已具备的色值—语义关联能力:即便是参数量较小的模型,也能把一串十六进制字符对应到相应的颜色含义。在此基础上,模型通过对象级颜色监督学习一个共享的十六进制提示接口,使指定某个物体的目标颜色成为一次统一的输入操作,而不是生成与编辑各自维护一套颜色控制方式。这一思路与以往偏重专用颜色表示或特殊推理步骤的方案形成对照,把颜色控制的复杂度从结构设计转移到了提示接口与训练数据上。

五十万样本怎么造出来

支撑上述接口的是 Paint-500K 数据集,它由真实图像经三步流程构建:先做对象定位,确定颜色标注所对应的物体区域;再进行感知层面的颜色标注;最后合成编辑前后的图像对,为编辑任务提供配对监督。真实图像中的阴影会使标注颜色只能近似于物体本色,因此研究团队额外引入纯色锚点,其像素值与配对的十六进制色值完全一致,用来补足这部分偏差。两类监督在使用时机上做了区分:纯色锚点只在高噪声时间步参与训练,低噪声阶段则交给自然图像,从而在保持真实感的同时强化色值对应关系。消融实验对该训练配方提供了支持。

新基准与提升幅度

为衡量对象级的十六进制颜色保真度,论文提出 Any Color Benchmark,包含面向生成的 ACBench-T2I 与面向编辑的 ACBench-Edit 两部分,覆盖两类任务上的颜色还原表现。在 FLUX.2-4B 上,Paint-Anything 相对基座模型把 ACBench-T2I 与 ACBench-Edit 的分数分别提升 85.3% 和 28.3%。在与对比方法的比较中,它的平均 CompColor 分数最高。这些数字说明改进在生成与编辑两个方向上并不均衡,生成侧的相对增幅明显更大,编辑侧的提升幅度较小。论文共 29 页,标注为 Seed Technical Report,属于计算机视觉与模式识别方向,同时归入人工智能与机器学习分类。

适用范围与使用限制

从材料看,这套方案面向的是需要精确指定物体目标颜色的专业设计场景,颜色以 24 位十六进制值表达,控制粒度落在对象层面而非整幅图像。其能力边界也与数据构建方式相关:真实图像标签受阴影影响只能近似,纯色锚点虽能校正色值对应,但仅在高噪声时间步介入,低噪声阶段仍依赖自然图像,因此颜色准确性与画面自然度之间存在取舍。评测方面,ACBench 的两个子集分别对应生成与编辑,读者在比较不同方法的颜色控制效果时,需要留意所报分数来自哪一个子集,以及是否在同一基座模型上测得。对关注图像颜色控制的使用者而言,这意味着可以用统一的色值输入替代以往分散的颜色处理流程,但效果评估应结合具体任务与基座模型来看。

为什么值得看

解决了生成模型难以精确控制具体颜色数值的问题,大幅提升了色彩保真度。

文生图基准测试数据集

信源1 家

  1. [1]arXiv cs.AI一手信源Paint-Anything: Unified Any-Color Control for Image Generation and Editing

关键事实

  • Paint-Anything 通过共享 hex-prompt 接口实现生成与编辑的统一颜色控制。[1]

  • 构建了 Paint-500K 数据集,并使用纯色锚点辅助高噪声时间步训练。[1]

  • 在 FLUX.2-4B 模型上,ACBench-T2I 和 ACBench-Edit 分数分别提升 85.3% 和 28.3%。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。