SpecSlot 将像素空间生成 Transformer 的全局注意力与细节解耦
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题与观察
像素空间生成 Transformer 通常为每个图像 patch 分配一个 token，因此要刻画更细的细节就得增加 token 数量，而全局注意力的开销也随之上升。论文提出一个观察：更细的细节并不一定需要更多的全局通信。低频结构适合全局交换信息，高频细节则可以在局部建模。SpecSlot 正是基于这一区分来设计 token 化方式。
slot 与频带拆分
SpecSlot 是一种像素空间 rectified-flow Transformer，目标是把输出细节与全局注意力序列长度解耦。做法是把每个空间锚点扩展成多个 slot，每个 slot 负责一段互不重叠的 DCT 系数频带，于是锚点密度与频谱细分成为两个可以独立调节的维度。在注意力层面，只有每个锚点的最低频 slot 进入全局注意力，其余 slot 全部在局部交互，因此增加频谱细节不会拉长全局序列。此外，一个空间头为频谱预测加入局部修正，而生成状态、目标与损失仍保持在像素空间。
量化结果
在 ImageNet-256 上，SpecSlot 的最终 FID 与 FLOPs 匹配的 JiT 对照相当，但收敛更快。在 ImageNet-512 上，它的 FID 比对照改善 2.84，同时 FLOPs 少 3.9%；与 JiT-B/16 相比，FID 仅差 0.69，成本低 38.2%。在文生图生成任务上，它在 DPG-Bench 上比 JiT-B/8 高 1.06，前向成本低 40.6%。论文共 22 页、10 张图，处于 ICLR 2027 审稿阶段。
为什么值得看
它给出一种不拉长全局序列就能提升像素空间生成细节的思路，并附有 ImageNet 与文生图上的量化对比。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。