清华稳准智能发布LimiX-2模型
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载从预测目标到联合依赖
LimiX-2 由稳准智能与清华大学在 9 月 16 日联合发布,参数规模提升到 400M。这一代模型在建模思路上做了调整:采用上下文机制网络 CMNs 范式,把关注点从对目标变量的预测,转向变量之间的联合依赖关系。围绕这一范式,预训练阶段使用上下文条件掩码建模 CCMM,训练数据由结构因果模型生成,覆盖多种图结构与机制。模型在数据粒度上采用单元格级建模,保留列身份、取值与缺失状态,使表格中的每一格信息都进入模型视野。相比只围绕目标列做拟合的做法,这种处理方式把列与列之间的关联也纳入建模范围,适用于结构化数据中变量关系本身即为分析对象的情形。
三项评测的分数与位次
在公开评测中,LimiX-2 于 TabArena 取得 1935 的 Elo 分数,在 BCCO 取得 1432,在 TALENT 取得 1506,三项均排名第一。这三个分数分别对应不同的评测集合,位次来自同一套 Elo 计分方式下的横向比较。在上述三项评测中,该模型的成绩超过了 Google、SAP、Amazon 的同类模型。除表格任务外,模型在 Sachs、UF、Causal Chamber 等因果发现数据集上也领先传统方法,说明其能力覆盖了从预测到关系识别的多个环节。对关注结构化数据建模的读者而言,这些分数提供了与既有方案对照的参照点,可用于判断该模型在自身任务类型上的相对位置。
合成数据引擎与场景积累
LimiX-2 升级了自动化合成数据生成引擎,能够生成多类分布的数据,为预训练提供来源可控、结构多样的样本。这一引擎与结构因果模型生成的数据相配合,使训练覆盖多种图结构与机制,而非依赖单一分布的数据。从落地角度看,上一代 LimiX 已完成 800 余个结构化数据场景验证,并与 60 多个客户合作,典型应用方向包括工艺参数优化、设备故障预测、电力预测与能耗优化。这些场景的共同点是数据以表格形式组织、变量之间存在关联,与单元格级建模和联合依赖建模的思路相对应。技术报告已发布于 arXiv,编号为 2609.17488,可供进一步查阅模型细节。
为什么值得看
结构化数据基础模型登顶国际榜单,验证了 Scaling Law 在表格数据领域的有效性。
信源2 家
关键事实
相关 · 模型
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
