Cartesia 发布 H-Net 扩缩律研究：字节级层级网络计算效率最高提升…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载为什么要去掉分词器
Cartesia 把 Richard Sutton 2019 年提出的 bitter lesson 作为出发点：通用方法应当尽量少依赖人工设计的先验，直接从原始数据中学习模式与抽象。语言模型是这一思路最成功的案例，其能力主要来自对 Transformer、下一 token 预测、强化学习和测试时计算等少数简单算法做规模化。但分词器仍是手工设计的编码步骤，阻碍模型从底层数据端到端学习。Cartesia 认为字节级语言模型是打开下一轮 scaling 的基础，它不仅是改进单个 LLM 的手段，也是检验通用学习方法的标准：如果连从字符和字节学好语言都做不到，就更难谈其他前沿。
H-Net 与这次的结果
H-Net（层级网络）在 2025 年被提出，最初用于处理语言模型中的 tokenization 问题，同时指向一种更通用的架构，可从不同模态的原始数据中学习。Cartesia 表示此后对 H-Net 技术做了大幅改进。这次公布的是扩缩律研究：团队先为带分词的 Transformer 建立标准扩缩阶梯作为参照，再在严格控制条件下测试 1-stage H-Net，结果显示计算效率提升最高达到 3-5 倍，而且这一收益完全来自可学习的 tokenization，而非其他改动。文章还给出了把模型规模做大的部分实证结果，并讨论 H-Net 的定性行为。
发布形式与后续
这是两篇系列文章中的第一篇，主题集中在 H-Net 的扩缩律与定性表现；第二篇将讨论这些结果带来的影响。材料未披露具体的模型参数量、训练数据规模、评测基准名称，也未说明代码或模型是否开放、以何种方式对外提供，因此这些细节尚无法判断。
为什么值得看
去掉分词器、直接从字节学习是 scaling 之外的另一条效率路径，3-5 倍的计算节省对训练成本有直接参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。