MoI-Bench 发布:面向移动端图像生成与编辑的评测基准
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载基准的构造方式
MoI-Bench 的出发点,是端侧图像模型开发要同时兼顾用户实际需求、任务类型与设备资源限制,而现有基准难以说明端侧模型与服务端模型的能力差距在哪里。该基准由 64 个子任务、1150 个样本构成,把任务拆成两个相互独立的维度:一是 16 种操作,包括移除、替换等;二是 8 类视觉目标,覆盖人像、文字等内容。两个维度交叉后,就得到具体任务,例如去除面部妆容。作者认为,这种操作与目标解耦的设计,比笼统的应用级目标更能指出紧凑模型该优先补哪一块短板。
评测标准与能力画像
配套的 MoI-Eval 不再只给一个总分,而是按任务设定标准,覆盖指令遵循、视觉质量与细节保持三个方面。评测以样本级问题的形式打分,再沿操作、目标、标准三条轴汇总,形成整体质量与能力画像。作者强调,这种拆分能定位到具体缺口,例如文字替换,而不是停留在“提升文字编辑”这类宽泛目标上。对做端侧模型的团队来说,这意味着评测结果可以直接对应到某一类操作与某一类目标组合上的表现。
质量与可部署性二维图
与用单一分数给模型排名的传统基准不同,MoI-Bench 引入质量与可部署性两个维度的能力图,用来评估模型在真实移动场景中的可用性,并同时测量移动部署成本。作者评测了代表性的端侧与服务端模型。结论是:当前端侧模型已经能够高效地完成生成或编辑,但扩大任务覆盖范围比继续提升部署效率更值得投入。若要继续推进,需要改善编辑质量,尤其是身份保持与文字渲染,同时拓宽可处理的任务范围。
为什么值得看
想了解端侧图像模型与服务端模型的差距在哪里,以及移动部署该优先补哪块能力,这份基准给出了可对照的细分维度。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
