OrderGPT 将生成顺序作为可学习建模选择

论文把 GPT 的从左到右分解与掩码扩散模型的任意顺序分解看作同一条轴上的两个端点，指出在缺乏自然遍历顺序的结构化离散数据上，两端都未必最优，而中间那种单一适配顺序此前很少被研究。OrderGPT 基于 Any-Order GPT，在无标准顺序监督下学习任务级生成顺序：从随机采样的揭示前缀预测变量，汇总主干网络中反复出现的注意力模式为相互依赖图，用谱教师导出连续生成优先级，再由嵌入主干的轻量 OrderMLP 从注意力预测这些优先级，把顺序学习并入单次训练。训练逐步转向学到的顺序，随后冻结用于自回归训练与生成。该方法在语言上接近从左到右结构，在人体姿态上学到解剖学组织，在表格数据上把统计与语义相关字段放在邻近位置，并在各领域提升下游指标。