MoI-Bench 发布:面向移动端图像生成与编辑的评测基准

论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

MoI-Bench 是一个以移动用户需求为出发点的评测基准,包含 64 个子任务、1150 个样本,定义了移除、替换等 16 种操作,以及人像、文字等 8 类视觉目标;操作与目标这两个维度交叉组合,构成具体任务,例如去除面部妆容。配套的 MoI-Eval 引入指令遵循、视觉质量、细节保持等任务相关标准,并给出样本级评测问题,再沿操作、目标、标准三个维度汇总为整体质量与能力画像。作者评测了代表性的端侧与服务端模型,并测量移动部署成本,提出用质量与可部署性二维能力图替代单一分数排名。结果显示,端侧模型已能高效完成生成或编辑,但扩大任务覆盖比继续优化部署效率更值得关注;提升编辑质量仍需重点解决身份保持与文字渲染。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

基准的构造方式

MoI-Bench 的出发点,是端侧图像模型开发要同时兼顾用户实际需求、任务类型与设备资源限制,而现有基准难以说明端侧模型与服务端模型的能力差距在哪里。该基准由 64 个子任务、1150 个样本构成,把任务拆成两个相互独立的维度:一是 16 种操作,包括移除、替换等;二是 8 类视觉目标,覆盖人像、文字等内容。两个维度交叉后,就得到具体任务,例如去除面部妆容。作者认为,这种操作与目标解耦的设计,比笼统的应用级目标更能指出紧凑模型该优先补哪一块短板。

评测标准与能力画像

配套的 MoI-Eval 不再只给一个总分,而是按任务设定标准,覆盖指令遵循、视觉质量与细节保持三个方面。评测以样本级问题的形式打分,再沿操作、目标、标准三条轴汇总,形成整体质量与能力画像。作者强调,这种拆分能定位到具体缺口,例如文字替换,而不是停留在“提升文字编辑”这类宽泛目标上。对做端侧模型的团队来说,这意味着评测结果可以直接对应到某一类操作与某一类目标组合上的表现。

质量与可部署性二维图

与用单一分数给模型排名的传统基准不同,MoI-Bench 引入质量与可部署性两个维度的能力图,用来评估模型在真实移动场景中的可用性,并同时测量移动部署成本。作者评测了代表性的端侧与服务端模型。结论是:当前端侧模型已经能够高效地完成生成或编辑,但扩大任务覆盖范围比继续提升部署效率更值得投入。若要继续推进,需要改善编辑质量,尤其是身份保持与文字渲染,同时拓宽可处理的任务范围。

为什么值得看

想了解端侧图像模型与服务端模型的差距在哪里,以及移动部署该优先补哪块能力,这份基准给出了可对照的细分维度。

端侧模型

信源1 家

  1. [1]arXiv cs.AI一手信源MoI-Bench: A Benchmark for Image Generation and Editing on Mobile Devices

关键事实

  • MoI-Bench 包含 64 个子任务和 1150 个样本[1]

  • 基准定义 16 种操作与 8 类视觉目标,两者正交组合成具体任务[1]

  • MoI-Eval 从指令遵循、视觉质量、细节保持三方面设定任务相关标准[1]

  • 作者提出质量与可部署性二维能力图,替代单一分数排名[1]

  • 评测显示端侧模型任务覆盖面的扩展比部署效率优化更值得关注[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。