arXiv 论文提出图像编辑基准 WeGenEditBench 与自进化工具链
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载为什么另做一套基准
论文的出发点是:真实场景的图像编辑往往要同时完成多种视觉变换,还要保住原内容并满足参考图约束,而单一汇总分数容易掩盖局部要求未被满足的情况。作者认为有效评测应当定位局部失败,并把失败转化为后续改进的优先级。为此构建的 WeGenEditBench 覆盖单图编辑、文字密集编辑和多参考图编辑三类场景,共 2,740 个评测实例、148 种任务类型,规模与任务粒度都指向细粒度诊断而非只给一个总分。
检查清单如何打分
该基准的做法是先为每个请求准备检查清单,且清单在不同模型之间共享,不随被测模型变化。清单把一条编辑请求拆解为若干原子要求,评测时先做条目级扣分并保留对应的视觉证据,再把这些条目结果汇总成四个维度:编辑执行、内容保持、视觉质量和任务特定正确性。这样得到的分数可以回溯到具体哪一条要求没有达成,而不是只留下一个难以解释的总体数值。
配套的自进化框架
为支撑递归自我改进中的经验获取环节,作者开发了 WeGenEvoStudio,将其描述为面向 RSI 学习的统一多智能体框架,把模型条件化的失败诊断、基于检索的数据构建、监督适配和重新评测串在一起。换言之,评测结果不只用于排名,还被用作定位问题、构造训练数据和验证改进的输入,形成从评测到改进再回到评测的循环。
评测与进化实验的结果
在 15 组被评测配置中,GPT-Image-2 以 4.076 的综合分在单图编辑上领先,Seedream-5.0-Pro 以 4.291 在文字密集编辑上领先。进化实验横跨四个生成与编辑基准,作者称在报告选定的 Top-5 单图目标上取得明显针对性收益:FLUX.2 [dev] 的综合分由 1.083 提升到 3.517,Qwen-Image-Edit-2511 提升 13.2%。论文共 58 页、42 幅图,作者认为基准与框架共同为通过可解释评测和反馈驱动学习来改进图像模型提供了基础。
为什么值得看
想判断图像编辑模型真实短板、或搭建「评测—诊断—再训练」闭环的团队,可看其任务拆分与打分方式。
信源1 家
关键事实
WeGenEditBench 含 2,740 个评测实例、148 种任务类型,覆盖单图、文字密集与多参考图编辑。[1]
基准用跨模型共享的预生成检查清单把请求拆为原子要求,先条目级扣分再汇总为四类分数。[1]
WeGenEvoStudio 整合模型条件化失败诊断、检索式数据构建、监督适配与复评。[1]
15 组配置中 GPT-Image-2 单图编辑综合分 4.076 最高,Seedream-5.0-Pro 文字密集编辑 4.291 最高。[1]
进化实验中 FLUX.2 [dev] 在 Top-5 单图目标上综合分从 1.083 升至 3.517,Qwen-Image-Edit-2511 提升 13.2%。[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
