论文:AI 论文、技术方法与基准测试
值得关注的 AI 论文、技术方法与基准测试结果,附论文或项目原文链接。
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
- AI 摘要量子位
清华姚期智团队提出代数世界模型AWM,ARC-AGI-3全关卡通关
清华大学姚期智、袁洋团队提出「代数世界模型」(AWM),让AI从观察与试错走向建模和形式化证明。方法分三步:先把现象写成可执行的Python代码作为假设,再用新观察修正并提炼通用规则,最后形式化为Lean 4可机器检查的数学断言,并借鉴范畴论中的投射极限与归纳极限迭代概念结构。在ARC-AGI-3测试集上,基于Opus 5的AWM通关183个关卡,得分99.9%,平均动作数为人类基准的43%。面对被改成无解的关卡,基于Opus 5.5的AWM尝试两次即可证明无解,并指出再多一步即可获胜。
- AI 摘要量子位
新芯航途发布X7 Ultra芯片,700TOPS,用Momenta世界模型做评测
新芯航途(XHEART)首次对外亮相,发布智驾芯片X7 Ultra,算力700 TOPS。官方强调两项指标:量化模型输出与FP32基准模型相似度超过99.99%,NPU计算利用率达98.7%;对比行业旗舰产品,内存带宽消耗降低80%,能效提升100%。评测方式上,该芯片直接用Momenta的R7世界模型等真实量产智驾模型测试,而非只依赖实验室基准。新芯航途与Momenta无直接股权隶属关系,Momenta创始团队成员曹旭东、夏炎通过控股股东间接持股;首款量产产品X7已在上汽大众新车上量产。
- AI 摘要arXiv cs.AI
LSA 稀疏注意力方法:百万级上下文下提速最高 72.4 倍
一篇 arXiv 论文提出 Latent Sparse Attention(LSA),针对超长上下文(超过 100 万 token)下全注意力开销过大的问题。该方法在学习到的隐空间中对 key 做层次聚类,让 query 只对聚类层级打分,而不必逐 key 计算,从而加速 prefill、decode 与训练。作者给出两个变体:D-LSA 通过蒸馏套用到预训练模型,N-LSA 仅用下一 token 损失原生训练。在 GLM-5.3-FLASH(QWEN-3.8-27B)的 1000 万 token 场景下,D-LSA 单层注意力 prefill 提速 22.7 倍(相对全注意力 72.4 倍),decode 提速 4.6 倍(相对全注意力 42.5 倍),多任务精度接近;N-LSA 在 128k token 下单层训练提速 1.6 倍并追平全注意力精度。
- AI 摘要arXiv cs.AI
ID-WM 分层世界模型提出,长程任务性能提升 135%
一篇 arXiv 论文提出 ID-WM(隐式动力学世界模型),把状态空间可达性与局部控制解耦:高层模型在状态流形上采样可行的状态转移,低层世界模型充当逆动力学求解器,把转移落到具体动作上,规划器因此不必受底层执行细节约束。该方法在三个导航与操作测试集上,相比当前最优的策略规划器和扩散规划器提升 38.5%;借助分层结构抑制误差累积,在长程任务的复杂未见配置下,相比单层世界模型 MPC 提升 135%。
- AI 摘要arXiv cs.AI
RoboArchitect 用编码模型自动设计机器人智能体外壳,不更新权重
RoboArchitect 让编码模型观察机器人的执行轨迹、诊断失败原因,并围绕冻结的策略迭代修改控制外壳,整个过程不更新任何模型权重。在未见场景上,平均成功率从 9.7% 提升到 43.3%(4.5 倍);在未见任务上,从 12.7% 提升到 40.2%(3.2 倍),覆盖多个基准与策略。当基准与策略训练数据差距较大时,提升最明显:给通用策略套上进化后的外壳,得到的专用智能体常常超过微调版本。外壳还会自行进化出持久记忆,把有效抓取深度等经验带入后续决策。
- AI 摘要arXiv cs.AI
ACCT 提出同族不同规模模型间的 KV 缓存迁移方法
论文提出 ACCT,用于同一模型家族内不同规模模型之间的 KV 缓存迁移。它把源模型生成的 KV 缓存转换为稀疏 KV 状态,供目标模型直接使用,从而让目标模型不必重新处理原始上下文。方法由三个轻量组件构成:Cartographer 定位与查询相关的上下文 token,Allocator 在共享 KV 预算下分配各层与各 KV 头保留的 token 数量,Compiler 完成源 KV 到目标稀疏 KV 的转换。在五个通用能力基准和六个强上下文依赖任务上,KV 缓存缩减 75% 时性能仍与目标模型原推理持平或更好;上下文约 19K token 时,KV 转换比目标模型重新预填充快 6.5 至 21.2 倍。
- AI 摘要arXiv cs.AI
ZHA 提出树状索引器,把注意力复杂度降到次二次
论文针对注意力随序列长度二次增长这一长上下文瓶颈,提出 Zyphra Hierarchical Attention(ZHA):在 KV cache 上递归压缩出键摘要树,查询自顶向下遍历,取出稀疏键子集。随着树深迭代增加,路由与最终注意力的总开销在序列长度上呈次线性,整体注意力达到次二次但超线性。方法只需在数十亿 token 上做短程 KL 蒸馏,即可套用到已有预训练模型,并在长上下文检索及推理、数学、智能体编程评测上保持表现;对树形结构稳健,最深测到 6 层。作者称在超过 100 万上下文时明显优于对比方法,有望把有效上下文扩展到数亿乃至数十亿 token。
- AI 摘要arXiv cs.AI
CausalWAM 提出稀疏路由路径,分离世界动作模型中的动作成因
论文指出,世界动作模型(WAM)从观测中学习隐变量,并用这些隐变量预测场景演化、生成动作;但预测需要覆盖整个场景,而真正引发动作的只是场景的一部分。仅靠示范数据拟合的 WAM 无法保证只依据动作相关隐变量生成动作,可能把无关变量混入其中。作者在稀疏约束下证明:用于生成动作的隐变量是动作相关隐变量的可逆函数,真实结构可被识别到隐变量置换的程度;该结论不要求足够的时间依赖,也不对未观测状态的演化方式作假设,即使动作相关隐变量与其余部分统计相关也成立。据此提出 CWAM,在预训练 WAM 的动作头上加一条稀疏路由路径来引入该约束,世界建模目标保持不变。合成数据与真实机器人实验验证了理论,并显示闭环成功率效率提升。
- AI 摘要arXiv cs.AI
研究者提出 KLM 规范,让 AI 推理记录可查证据
一篇 arXiv 论文提出知识层模型(KLM),这是一份开放、不绑定具体实现的推理记录规范,包含带版本的认识论评估、证据关系和显式未知项。Nage AI OS 的知识与证据架构 SEDIM 是其参考实现,对应 KLM v0.3(仓库标签 v0.3.0)。论文中的实证来自若干独立内部实验,并非端到端验证:历史平台域路由基准在 15 个类别上得到 137/150 分类(91.3%);原生模型权重路径配置在修正的双源测试中成功回答 0/15;词法与范围诊断对静默与矛盾样本的 AUC 均为 0.008,低于预设的 0.65 下限;旧版打包在 221 个选中案例中丢失含金标文本 118 例,修复后 221/221 保留。作者强调证据可见不等于正确性、因果依赖、安全或合规。
- AI 摘要arXiv cs.AI
CRoS:用打乱推理步骤顺序的因果奖励提升模型准确率与推理忠实度
针对可验证奖励强化学习(RLVR)只看结果正确、无法保证思维链真正影响答案的问题,作者提出 CRoS 因果奖励。已有因果度量靠删除步骤或注入错误来扰动思维链,会改变每步信息,高分可能只是对信息变化敏感。CRoS 改为打乱推理步骤顺序、不改内容,从而保留每步信息。在 Reasoning Gym 上用 Gemma-3-4B 测试,CRoS 在五个未见过的逻辑与游戏数据集上取得 46.8% 准确率,高于最强基线 43.8%;CoT-Pass@K 从 K=1 到 128 平均 43.4%,基线为 41.4%;提示确认分数 34.0%,基线 20.2%。
- AI 摘要arXiv cs.AI
arXiv 论文提出 Taylor 修正惰性牛顿法,改进有限和优化复杂度
一篇 arXiv 论文研究光滑凸有限和优化的随机二阶 oracle 复杂度。在个体光滑性与凸性假设下,作者给出下界 Ω(n + n^{5/7} ε^{-2/7}),并借助新的二阶自约束不等式设计 Taylor 修正惰性牛顿法,配合 Monteiro-Svaiter 加速达到 Õ(n + n^{5/7} ε^{-2/7}),与下界仅差对数因子。相比此前平均光滑性下的最优复杂度,该结果在更强假设下进一步加速。
- AI 摘要arXiv cs.AI
研究审计六款大模型戒烟建议:同一问题因用户画像不同而答案不同
一项提交至 arXiv 的研究对来自四家提供方的六款主流大模型做戒烟建议审计,用四个戒烟问题分别询问十二种用户画像,画像在人生阶段、自述专业程度与吸烟史上不同,共收集 2880 条回答。结果显示回答内容随提问者身份变化:所有模型对青少年画像提及 FDA 批准处方戒烟药物的频率都低于成人画像,差距为 32 至 67 个百分点;六款模型中有五款对自称具备医疗专业知识的画像给出的事实少于无专业背景画像。研究还测试了一种可部署干预:用简短系统提示设定事实底线,即用户相关时应获得的核心医学事实,同时允许语气与措辞自由调整。该提示缩小了各模型的画像差异,但对整体事实覆盖的影响在方向与幅度上因模型而异。作者提示,处方戒烟药物不推荐用于未成年人,事实底线应按年龄区分;画像同时变动多个属性,因此报告的是场景层面差异。全部回答与分析代码已公开。
- AI 摘要arXiv cs.AI
研究提出从噪声观测中学习干净图像生成过程的方法
一篇 arXiv 论文研究仅用带噪观测学习干净图像的生成模型。作者指出,扩散过程及非高斯噪声推广需要在每个噪声水平上做后验预测。他们先用 Noise2Noise 回归从独立噪声视图学习这些预测,但只能在训练数据噪声水平及以上奏效。为学到该水平以下的预测以生成干净图像,他们引入一致性约束:预测应等于继续采样后的期望。作者推导了一致性唯一确定向干净图像分布延续的条件,并在泊松、二项、Gamma 与负二项测量上验证。CIFAR-10、光子计数显微与合成孔径雷达实验显示,所需后验预测可仅从噪声视图学到,一致性关系修复了超出数据噪声水平的延续,而缺少一致性时该延续严重退化。
- AI 摘要arXiv cs.AI
论文比较循环层模型:仅 0.8B 规模优于基线
一篇 arXiv 论文研究在已训练模型上追加循环层是否值得付出推理算力。循环让每个 token 多次经过同一组层,参数、磁盘占用、显存和训练成本不变,但重复 m 层会使每个 token 的推理开销约为 (N+m)/N 倍。作者用 Qwen3 与 Qwen3.5 的 0.8B 至 9B 模型,与两个基线对比:同参数但不加循环的模型,以及同等推理 FLOPs 下最优的无循环用法。结果显示只有 0.8B 循环模型同时胜过两个基线;4B 和 9B 的循环模型连第一个基线都赢不了。作者指出,这并非基准太简单,因为无循环 9B 在同一基准上仍比 4B 高最多 13 分。结论是:在参数预算固定时,给预训练模型加循环只对小模型划算。
- AI 摘要arXiv cs.AI
研究提出 LLM-SR-UQ 框架,用方程结构分歧量化外推不确定性
针对大模型引导的符号回归多只给出单一最优方程、不评估其他函数形式不确定性的问题,一项 arXiv 论文提出 LLM-SR-UQ 框架:保留多个相互竞争的方程结构,用它们之间的分歧刻画对底层函数形式的不确定性,并把固定宽度保形区间扩展为结构区间,在候选方程分歧大处加宽预测区间。在 LLM-SRBench 数据集上,标准保形区间在分布内覆盖达标,但在外推场景下经常失效;该框架在保持分布内覆盖的同时明显改善覆盖表现,迁移到其他符号回归方法时也表现出泛化性。
- AI 摘要arXiv cs.AI
TradeWar 基准发布:以执行结果评估 LLM 贸易谈判
arXiv 收录论文提出 TradeWar,一个多国模拟基准,把谈判对话转成具体的关税与贸易份额政策,在结算时施加产能与网络约束,并用经济健康指数(EHI)衡量结果,而非只看达成协议的比例。配套智能体 TACTIC 在不更新基座模型权重的前提下,跨回合利用既往经验、对手行为与结算结果迭代策略。零样本 CoT 提示的 PromptLLM 协议达成率 75%,但最终 EHI 仅 57.1;TACTIC 达成率 68.8,最终 EHI 更高。20 个连续回合、三个随机种子下,TACTIC 最终 EHI 从 58.2 升至 73.2,去掉跨回合更新的消融版本为 65.2。在技术管制与能源危机冲击下,TACTIC 的性能下降幅度小于 PromptLLM 与 MemoryLLM。论文被 DAI'26 接收。
- AI 摘要arXiv cs.AI
AutoAnalysis 自动元分析:人机组合优于人类单独,但不及更优一方
一篇题为 AutoAnalysis 的论文提出可自动更新的人机协作元分析框架,用于回答人类与 AI 何时合作更优、何时单独工作更优。最新一次运行汇总了 420 篇论文中的 1955 个效应量。结果显示,人机组合的平均表现显著优于人类单独工作,但显著低于人类或 AI 中表现更好的那一方。作者据此区分了提升人类表现与实现人机协同,并主张评估协作时应同时对照人类单独表现和 AI 单独表现。随着新研究出现,该框架会把结果纳入分析,持续给出累积证据,并考察不同 AI 代理、任务与流程下的差异。
- AI 摘要arXiv cs.AI
SecPO 提出抗提示注入训练法,智能体攻击成功率降至 8.8%
针对提示注入这一智能体主要威胁,研究者指出 Meta-SecAlign 所用的 DPO 损失把模型锚定在未设防的参考模型上,自适应攻击下攻击成功率接近 100%。作者提出 SecPO 损失,用可近似获取的「注入不变、保留效用」理想参考模型替代该锚点,并搭建对抗训练流程合成强注入样本(best@240)。在三种自适应攻击下,相比 Meta-SecAlign,对抗训练把攻击成功率降低 1.5 至 14.5 倍,SecPO 损失在此基础上再降 2.4 至 4.6 倍。在 AgentDojo 的 AttackerMovesSecond 攻击下,SecPO 结合对抗训练的 Qwen3.6-27B 攻击成功率为 8.8%,Meta-SecAlign 为 78.8%;九项基准上良性效用无明显下降。代码、训练数据和模型已公开。
- AI 摘要arXiv cs.AI
DAMI 提出双轴记忆初始化,提升门控线性注意力长上下文检索
针对门控线性注意力有限状态记忆影响长上下文检索的问题,论文提出 DAMI 方法:在训练前联合配置门控参数 A_log 与 dt_bias,按头分配几何时间尺度以覆盖不同检索距离,并在层间采用低-高-低的输入敏感度分布,再用少量激活样本校准,不增加可训练参数。在 GDN、KDA、GDN2、Mamba-2、RWKV-7 上,RULER 类检索平均准确率较随机初始化基线提升 5.29 至 16.71 个百分点,语言建模、常识推理与 2K 真实检索表现基本持平。代码已公开。
- AI 摘要arXiv cs.AI
ID2Pattern:用匿名ID行为模式预训练交易风控基础模型
arXiv 上的一篇论文提出 ID2Pattern 预训练框架,用于把身份字段的行为模式引入交易基础模型。作者指出,卡号、设备、账户等高基数身份字段虽含行为信号,但因词表持续增长、语义有限,现有基于词表或语义的编码方式并不适用;可泛化的信号在于身份在交易序列中呈现的行为模式。方法上,先用 Local Anonymous ID(LAID)分词器编码身份字段,捕捉每个身份在序列中出现与复现的方式而不依赖具体取值,再在无标注序列上预训练多尺度模式码本,把 LAID 序列抽象为离散行为模式供下游预测。在超过 1 亿条序列的工业数据集和六个公开数据集上,ID2Pattern 平均分别提升 4.13% 和 8.83%;当训练中所有身份取值均未见过时效果依然保持。