注册

LeWi：联合学习神经元连接与权重，提升样本效率

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 Learned Wiring（LeWi）：每个神经元带一个可学习的低维嵌入，只有嵌入相近的神经元之间才建立连接，连接结构与权重一起训练。作者同时构建 CSFRBench 基准，训练时隐藏目标的组合计算结构、仅用于诊断，发现稠密网络和基于稀疏性的基线都没能充分利用组合稀疏带来的样本效率收益。在额外 32 个由独立采样计算图生成的目标上，LeWi 是未获知目标图的方法中样本效率最高的，学习曲线面积均值比稠密网络低 27%；但在只含单个高元函数的目上稠密网络更优。在控制、导航、操作三类共 17 个世界模型预测任务上，LeWi 在 16 个上优于稠密基线，在 119 次基线对比中胜出 99 次。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

要解决的问题

高维统计学习受制于维数灾难，但许多实际函数具有组合稀疏性：它们可以写成若干局部函数的复合，每个局部函数只依赖少数变量，因此样本复杂度取决于局部函数的输入个数，而非环境维度。理论上这一性质能带来收益，但论文指出，理论并未保证基于梯度的实际训练能够利用隐藏的组合结构。为量化这一差距，作者构建了 CSFRBench：训练阶段把目标函数的组合计算结构隐藏起来，评估与诊断阶段仍保留该结构，从而可以观察模型是否真正学到了它。在该基准上，稠密网络与基于稀疏性的基线都未能兑现组合稀疏本应带来的大部分样本效率收益。

方法：让连接可学习

LeWi 的灵感来自生物神经回路在空间上的组织方式。每个神经元被赋予一个可学习的低维嵌入，只有嵌入空间中彼此靠近的神经元才会建立连接，嵌入向量与网络权重在训练中同步更新。这样，网络的连接拓扑不再是人工设定的固定结构，而是随任务一起被优化。论文报告，LeWi 的表示与连接方式会与目标计算结构对齐，在具有层级结构、中间结果复用或独立模块的目标上，样本效率提升尤为明显。在额外 32 个由独立采样计算图生成的目标上，LeWi 是未获知目标图的方法中样本效率最高的，学习曲线面积均值比稠密网络低 27%。作者也给出边界：当目标只包含单个高元函数时，稠密网络反而更好。

世界模型任务上的表现

除合成目标外，论文还在覆盖控制、导航、操作三类场景的 17 个世界模型预测任务上做了对比。LeWi 在其中 16 个任务上优于稠密基线，在全部 119 次基线对比中胜出 99 次。这些结果支持作者的结论：把连接结构与权重放在一起学习，能够利用目标的计算结构来提升样本效率。论文提交于 2026 年 10 月 20 日，归类为 cs.LG 与 cs.AI，编号 arXiv:2610.28555。

为什么值得看

把连接结构本身作为可学习对象，为组合稀疏任务提供了一条不依赖目标图的样本效率路径，附带的诊断基准也值得关注。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源Learning Computational Structure for Sample-Efficient Prediction

关键事实

  • 论文提出 Learned Wiring（LeWi），每个神经元有可学习的低维嵌入，仅邻近神经元相连，嵌入与权重联合训练[1]

  • 作者构建 CSFRBench，训练时隐藏目标的组合计算结构，仅保留用于诊断[1]

  • 在 32 个由独立采样计算图生成的目标上，LeWi 学习曲线面积均值比稠密网络低 27%[1]

  • 在 17 个世界模型预测任务上 LeWi 于 16 个优于稠密基线，119 次对比中胜出 99 次[1]

  • 对只含单个高元函数的目标，稠密网络表现更好[1]

相关 · 论文

研究者提出用「逆向博弈论」约束AI智能体行为

11月3日 周二·AI 58

北大孙仲联合IBM等发布综述，重新定义现代模拟计算

11月3日 周二·AI 72

OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出

11月3日 周二·AI 78

Pixel-UMI：从传感器化人类演示学习全身操作策略

11月3日 周二·AI 72

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论