论文:AI 论文、技术方法与基准测试第 37 页
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
- AI 摘要arXiv cs.AI
DialFork:首个针对对话代理程序性幻觉的基准发布
研究团队提出 DialFork,用于衡量对话代理的「程序性幻觉」——即单句流畅且事实合理,却偏离既定对话流程的失败模式。该基准通过在受控轮次位置对合规对话进行分叉并注入四类幻觉构建,覆盖 12 个领域的 24 项任务,共 36,278 段对话,并由 30 名人工标注者验证。团队定义三个评估任务,分别对应部署监控、程序检索与实时护栏三种粒度,并提出 FlowKL 与 FlowScore 两个对话流感知指标。在对话级别上,FlowScore 在七种编码器上均显著优于所有基线,表明语义相似度无法替代程序相似度。基准以 MIT 许可发布。
- AI 摘要arXiv cs.AI
Muon 与 AdamW 配对基准:等数据下验证损失 AUC 降 3.25–2…
一篇被 NeurIPS 2026 Workshop(Optimization for Machine Learning)接收的论文,在单张 A100 上把参考版单设备 Muon 与 AdamW 做配对比较,覆盖 17.7M 与 33.6M 参数因果语言模型和 2.70M 参数视觉 Transformer。统一用 23 个候选配置的开发预算,配合五个匹配随机种子、完整验证轨迹、优化器步耗时与一次性冻结测试。等数据条件下 Muon 把验证损失曲线下面积降低 3.25–22.44%,并在全部 20 个主要配对中降低测试损失。按时间归一化后,Muon 在视觉任务上改善 19.68–22.31%,而语言任务上 AdamW 反而领先 3.38–6.96%。含辅助 AdamW 更新的完整 Muon 优化器调用占训练时间 56.1–69.6%,AdamW 基线为 6.1–9.1%。作者指出结论限于小模型…
- AI 摘要arXiv cs.AI
成对差异学习分类器引入不确定性量化方法
一篇发表于《Machine Learning》115卷12期的论文为分类任务提出成对差异学习(PDL)版本,并配套元学习技术。PDL不按常规学习从实例到结果的映射,而是学习接收两个实例、预测其结果差异的函数,查询实例的预测由每个训练样本推导后取平均。作者针对PDL分类器预测的不确定性表示与量化问题,基于总不确定性分解为偶然与认知两部分的近期工作,按基学习器表示不确定性的方式提出多种扩展度量,并在大规模实证研究中同时考察预测准确率与不确定性感知能力。
- AI 摘要arXiv cs.AI
arXiv 论文分析 Muon 优化器的径向脆弱性与极小极大几何
一篇投稿于 arXiv 的论文研究 Muon 优化器为何有效。Muon 用梯度的近似极因子替代矩阵梯度,在神经网络训练中表现良好,此前的各向同性曲率模型(ICM)用曲率解释这一更新。作者把 ICM 的固定输入半径换成一般径向分布,提出随机半径各向同性曲率模型(RR-ICM)与极因子可容许集,对任意径向分布给出该集合的精确刻画,并证明所有非标量可容许响应都来自与曲率拐点对齐的径向原子。由此,任何无原子的径向分布都表现出零容量刚性:只有当梯度本身已是缩放列等距时,精确缩放极最优才可能成立。作者进一步用球面上概率分布的最坏情况优化替代方向平均,构造极小极大 RR-ICM,证明每个非零全局极小点都落在梯度的极射线上,其尺度由一维凸问题决定。
- AI 摘要arXiv cs.AI
综述:强化学习驱动扩散模型,梳理瓶颈与路线图
一篇投稿于 2026 年 10 月 15 日的论文对强化学习驱动的扩散模型做了首次系统性综述。作者指出,扩散模型沿用大模型的「预训练—微调」范式,但在复杂推理、生成路径自主探索和贴合人类目标方面存在局限;受 RLHF 启发,强化学习被用作后训练手段,通过奖励驱动的轨迹优化迭代改进扩散模型。论文提出技术全景,覆盖语言、多模态、机器人、科学模型,重点讨论扩散轨迹优化与奖励工程,并在多个任务基准上评测代表性方法,指出奖励设计脆弱、高维生成空间中的探索与利用权衡、稀疏奖励下训练不稳定三个落地瓶颈,并给出整合路线图与未来方向,同时建立了持续跟踪该领域的公开仓库。
- AI 摘要arXiv cs.AI
研究者提出 CiMEO 框架,用功能子网络定位缓解大模型灾难性遗忘
一篇 arXiv 论文提出 Function-isolated Memory-Efficient Optimization(CiMEO)持续学习框架。作者用梯度归因刻画定位出与认知相关的功能子网络,这些子网络之间重叠度极低;CiMEO 据此把每条训练样本路由到对应子网络,只更新被选中区域的参数与优化器状态。在 140 万条顺序指令上,该方法在覆盖编程、考试类任务与数学推理的五个生成式基准上取得对比方法中最高的平均表现,同时减轻灾难性遗忘。子空间重叠与主角度分析显示,局部化更新有助于保留预训练表示。
- AI 摘要arXiv cs.AI
CriticaLLM:让大模型自主担任桌面角色扮演游戏主持人
一篇 arXiv 论文提出 CriticaLLM 框架,用大语言模型充当全自动游戏主持人,可完整运行桌面角色扮演游戏,涵盖生成多样化故事、管理探索与战斗环节。作者先梳理了此类游戏对模型的关键能力要求,随后用真实玩家参与评测,并在四种不同规模的模型上考察生成剧情与反派角色的多样性。论文结论称该框架在运行整局游戏方面表现可期。
- AI 摘要arXiv cs.AI
音频多任务学习新方法:分层条件化替代多头架构
一篇 arXiv 论文研究音频场景分类(ASC)与音频打标(AT)的分层条件化范式,即由中间事件概率直接预测场景类别,而非采用传统的无约束多头架构。作者在 PaSST、PANNs、BEATs 三个骨干网络上完成 66 次完整训练,覆盖 beta 在 0.0 到 1.0 的不同损失加权设置。结果显示分层条件化在分类性能上具竞争力,并改变多任务优化动态:多头基线先解决较易的 ASC 再优化 AT,而分层架构在 beta 处于 0.6 到 0.9 时实现双任务同步学习。论文还提出结合信息瓶颈、流形几何与形式概念分析的可解释性框架。
- AI 摘要arXiv cs.AI
论文追踪代码修复代理的路径依赖失败
一篇投稿至 NeurIPS 2026 研讨会的论文提出「Poison Valleys」方法,用于诊断代码修复代理的路径依赖失败。研究在 PersistQueue 与 Dijkstra 两个合成 Python 案例上发出 1,844 次模型请求,人为植入看似合理但错误的软件机制,分别放入模型的假设、实现计划或两者之中,再用 Oracle 与针对性诊断坐标评估生成代码。结果显示,把错误认知从假设移到计划后,PersistQueue 失败率上升 32.2%,Dijkstra 上升 28.9%。不同错误认知会产生不同且依赖模型的义务违反模式,但若干模式可能收敛到相同行为。
- AI 摘要arXiv cs.AI
QREF:通过查询精炼与证据过滤提升 DeepSearch 智能体
研究提出 QREF,一个可插拔的查询精炼器与证据过滤器。查询精炼器依据当前推理意图改写搜索查询,并保证每批搜索的互补覆盖;证据过滤器保留与当前搜索批次及推理目标相关的证据,减少干扰性检索结果。查询精炼器先经监督微调初始化,再基于与真实网络搜索环境的交互用强化学习优化,以减少无效查询。在四个基准上,该方法在不改动架构、不重训推理策略的前提下,使 WebSailor 的 Pass@1 平均相对提升 33.55%,TongyiDeepResearch 提升 11.04%;相比原始骨干,经强化学习训练的精炼器将缺乏判别性检索锚点的查询批次比例降低 95%。
- AI 摘要arXiv cs.AI
SCRIBE 框架用开源大模型集成生成可解释词级语义表征
两篇同日提交的 arXiv 论文围绕 SCRIBE 展开。SCRIBE 是一个基于神经科学语义空间的框架,利用开源大语言模型集成,为任意文本生成可解释的词级语义表征。在一项 921 名参与者参与的行为研究中,人类语义特征判断随语境系统性变化,SCRIBE 能捕捉这些变化,达到估计人类噪声上限的 75-81%。在参与者听自然叙事故事时的脑活动记录中,SCRIBE 能预测语言选择性脑区的神经反应,显著优于非语境化语义表征。另一篇论文以 SCRIBE 为工具,分解 LLaMA2-7B 的脑对齐,使用七名参与者听叙事故事的自然 fMRI 数据做方差分解。
- AI 摘要arXiv cs.AI
扩散模型直接生成人形机器人控制网络权重
一篇 arXiv 论文提出用生成式方法直接建模人形机器人控制网络的权重分布。方法把线性自编码器与 Diffusion Transformer 结合:自编码器将 actor 网络参数压缩到紧凑隐空间,Diffusion Transformer 学习这些隐变量的分布。训练数据来自 Unitree G1 机器人的强化学习网络,生成的网络可部署到真实世界,完成行走、跳舞、回旋踢等动作。研究还分析了学到的权重空间,发现第一层权重中存在一种稳定反映机器人运动学先验的结构,且该先验在强化学习与模仿学习两种训练下都会出现。
- AI 摘要arXiv cs.AI
HiRe-MoMa 框架实现真机移动操作约 30 分钟在线微调
一篇投稿 CoRL 2026 的论文提出 HiRe-MoMa,用于复杂移动操作系统的真机稳定微调。该方法采用分层残差架构,在冻结的基础策略上学习加性修正,并把残差拆成移动底座与机械臂两个头,以单向条件化减少梯度干扰。为提升样本效率,作者提出专家引导价值对齐,利用覆盖率低于 20% 的稀疏人工干预重塑评论家的价值分布。在 TIAGo++ 平台上的真机实验显示,无论基础策略架构如何,约 30 分钟在线交互即可稳定提升任务表现。
- AI 摘要arXiv cs.AI
新方法让语言智能体边行动边预测,样本效率最高提升2倍
一篇 arXiv 论文提出让语言智能体的行动与预测能力共同演化。现有智能体强化学习只用最终标量奖励,中间步骤的监督信号大多被浪费;已有的价值目标或观测目标又难以构造。该方法在成功轨迹上训练策略骨干生成后续动作序列,并让每个动作在由前序历史预测时也受到监督,形成时序集成,推理时仍逐步行动、无额外开销。在 ALFWorld、ScienceWorld、WebShop、τ²-bench、AppWorld 五个基准上,其综合表现优于 GRPO 及带预测辅助目标的 RL 基线;在 ScienceWorld 上样本效率分别最高达 ECHO 的 1.9 倍、GRPO 的 2.0 倍,且仅用单一策略骨干,无需额外模型、单独预训练或推理开销。
- AI 摘要arXiv cs.AI
免重训方法让预训练Transformer按算力预算弹性伸缩
一篇论文提出无需重训练的方法,把预训练Transformer变成单一模型,可在运行时于连续的计算预算之间切换。其做法是对功能单元排序问题做可微松弛:不再像以往那样只给每个MLP块或注意力头优化一个重要性权重,而是把每个MLP神经元与注意力头放在同一尺度上联合排序,通过在许多稀疏目标下同时最小化软剪枝后的损失来完成。作者在27个视觉与文本Transformer编码器上验证,参数规模从22M到8B,稀疏度到60%时性能平滑下降,深度剪枝下优于一次性基线。
- AI 摘要arXiv cs.AI
arXiv 论文分析智能体市场首价拍卖的无政府状态代价
一篇 arXiv 论文研究智能体市场中的首价拍卖:AI 智能体为争夺每条用户提示出价,出价基于其对提示的期望价值,即回复奖励减去推理成本。首价拍卖简单透明、无需中心掌握私有能力与成本,但并非真实报价机制,参与者可能低报以获取更大利润,导致提示未分配给估值最高者,形成福利损失,用无政府状态代价衡量。论文提出智能体市场具备两个降低该代价的特征:竞争下限与条件近独立性,并给出优于通用情形的福利下界,最后在 EmbedLLM 提示路由数据集上用策略性出价者模拟验证。
- AI 摘要arXiv cs.AI
arXiv 论文提出 Continuum Attention 连续注意力算子
一篇提交至 arXiv 的论文提出 Continuum Attention(CA),一种因果 Transformer 注意力算子,用对连续分段线性记忆曲线的积分替代离散的键值查找。每个查询沿曲线产生指数相关性密度,对密度与插值值积分,可由指数矩的闭式解得到精确归一化注意力,并包含半 token 边界贡献。梯度可由至多二阶矩解析求出,支持并行 GPU 实现,同时保持二次序列复杂度和标准 Transformer 解码器结构。与普通 softmax 和 focal attention 相比,CA 的平均验证负对数似然分别降低 0.0200 和 0.0480 nats/byte,在所有配对比较中胜出;在另一独立验证切片上,相对最强 softmax 基线取得 0.0457 nats/byte 的优势,并给出配对 95% 置信区间。作者认为这些结果支持将连续积分作为有前景的注意力替代方案,但更大规模…
- AI 摘要arXiv cs.AI
Player-1 用合成经验后训练游戏智能体,9B 模型成功率 38.33%
研究团队提出 Player-1,一个通过合成经验学习游戏控制的后训练框架,把计算机操作智能体的动作空间扩展为相对指针移动、持续输入与复合动作。先用 6,044 条精选游戏轨迹做监督初始化,再在自建的 Player-1-Gym 中训练,该环境包含十六个围绕通用控制需求设计的 2D 与 3D 场景,奖励可程序化验证,观测与控制动态随机化,支持基于 PPO 的多环境强化学习。产出的 Player-1-9B 与 Player-1-35B-A3B 在 MineDojo-300 上分别比各自的 SFT 策略提升 27.8 和 17.7 个百分点;Player-1-9B 成功率达 38.33%,最强对比基线为 12.63%,在 ViZDoom-10 与 GameWorld 上也优于 SFT。分析显示合成环境覆盖越广迁移越好,RL 过程中复合动作使用增多。
- AI 摘要arXiv cs.AI
CIPR:跨接口一致性训练提升LLM智能体鲁棒性
一篇arXiv论文提出跨接口策略正则化(CIPR),针对LLM智能体后训练后过度依赖特定接口的问题。语义不变但接口扰动(如重命名动作、改变记号)会让智能体表现变差,逐样本独立打分只能把依赖从单一接口扩展到训练接口分布。CIPR用无信息标识符替换动作名,把每个训练样本以两种接口呈现,等价动作按构造对应,并惩罚两种接口下动作分布的KL散度。在监督与强化学习后训练中,该方法提升鲁棒性;在智能体函数调用任务上,留出接口扰动使后训练智能体准确率下降近25%,CIPR恢复10.5%,且未改变接口上的准确率不受影响。
- AI 摘要arXiv cs.AI
新方法用机械校验替代LLM评判验证Lean形式化
一篇论文提出超越LLM评判忠实度的Lean形式化验证方法,将LLM语义审查与机械的数值检查和空泛性检查结合,提供可核查的反馈,并能发现LLM评判遗漏的错误。作者用该方法与Extract-Verify-Proof自动形式化流程构建了数学函数形式化库FLMF,是对NIST数学函数数字图书馆DLMF的部分形式化。在三个带标注数据集上,该方法在已评估方法中取得最低的接受错误率,即被验证方法接受的错误陈述比例最低。专家审查还发现现有数据集中存在翻译与来源缺陷。代码已公开。