清华稳准智能发布LimiX-2模型

模型AI 评分 80/100arXiv cs.AI 等 2 家待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

稳准智能联合清华大学发布结构化数据基础模型 LimiX-2,参数规模提升至 400M。该模型采用上下文机制网络(CMNs)范式,将建模重点从目标预测转向变量联合依赖。在 TabArena、BCCO 和 TALENT 三个国际评测基准中,LimiX-2 的 Elo 分数分别为 1935、1432 和 1506,均位列第一,超越 Google、SAP 等同类模型。此外,模型在因果发现任务上也表现出显著优势。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

从预测目标到联合依赖

LimiX-2 由稳准智能与清华大学在 9 月 16 日联合发布,参数规模提升到 400M。这一代模型在建模思路上做了调整:采用上下文机制网络 CMNs 范式,把关注点从对目标变量的预测,转向变量之间的联合依赖关系。围绕这一范式,预训练阶段使用上下文条件掩码建模 CCMM,训练数据由结构因果模型生成,覆盖多种图结构与机制。模型在数据粒度上采用单元格级建模,保留列身份、取值与缺失状态,使表格中的每一格信息都进入模型视野。相比只围绕目标列做拟合的做法,这种处理方式把列与列之间的关联也纳入建模范围,适用于结构化数据中变量关系本身即为分析对象的情形。

三项评测的分数与位次

在公开评测中,LimiX-2 于 TabArena 取得 1935 的 Elo 分数,在 BCCO 取得 1432,在 TALENT 取得 1506,三项均排名第一。这三个分数分别对应不同的评测集合,位次来自同一套 Elo 计分方式下的横向比较。在上述三项评测中,该模型的成绩超过了 Google、SAP、Amazon 的同类模型。除表格任务外,模型在 Sachs、UF、Causal Chamber 等因果发现数据集上也领先传统方法,说明其能力覆盖了从预测到关系识别的多个环节。对关注结构化数据建模的读者而言,这些分数提供了与既有方案对照的参照点,可用于判断该模型在自身任务类型上的相对位置。

合成数据引擎与场景积累

LimiX-2 升级了自动化合成数据生成引擎,能够生成多类分布的数据,为预训练提供来源可控、结构多样的样本。这一引擎与结构因果模型生成的数据相配合,使训练覆盖多种图结构与机制,而非依赖单一分布的数据。从落地角度看,上一代 LimiX 已完成 800 余个结构化数据场景验证,并与 60 多个客户合作,典型应用方向包括工艺参数优化、设备故障预测、电力预测与能耗优化。这些场景的共同点是数据以表格形式组织、变量之间存在关联,与单元格级建模和联合依赖建模的思路相对应。技术报告已发布于 arXiv,编号为 2609.17488,可供进一步查阅模型细节。

为什么值得看

结构化数据基础模型登顶国际榜单,验证了 Scaling Law 在表格数据领域的有效性。

Google数据集

信源2 家

  1. [1]arXiv cs.AI一手信源LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence
  2. [2]量子位清华稳准智能联合发布LimiX-2,结构化数据基础模型登顶国际评测榜单

关键事实

  • LimiX-2 参数规模提升至 400M,在 TabArena、BCCO、TALENT 评测中 Elo 分数分别为 1935、1432、1506,均排名第一。[2]

  • 模型采用上下文机制网络(CMNs)范式,通过上下文条件掩码建模(CCMM)进行预训练。[1]

  • LimiX-2 在 Sachs、UF 等因果发现数据集上显著领先传统方法,具备因果骨架恢复能力。[2]

  • 上一代 LimiX 已完成 3800 余个场景验证,与 60 多个客户达成合作。[2]

相关 · 模型

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。