研究：小模型乘法错误不遵循加法式噪声量化模型
论文AI 评分 62/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇被 NeurIPS 2026 NewInML workshop 接收的论文考察了多个小型基座大模型的多位数乘法能力，测试集包含 16,991 道题，操作数长度各不相同。结果显示，乘法错误并不符合此前用于解释加法错误的「噪声量化」模型。作者在小型 Qwen 模型上发现了一种新的错误模式：低位数字列的错误大多保持奇偶性不变，而高位数字的错误则更多表现为进位的 off-by-one 失败。作者据此认为，大模型内部的算术计算依赖多种周期性的内部表征，其中奇偶性比精确数字身份被更稳健地追踪。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载研究问题与实验设置
论文关注大模型多位数算术失败背后的机制。此前有工作提出，加法错误可以用「噪声量化」模型描述，错误集中在进位边界附近；乘法是否适用同一框架此前没有答案。作者选取多个小型基座模型，在覆盖不同操作数长度的 16,991 道乘法题上评测，用错误分布来判断乘法是否也落在进位边界附近。
乘法错误的两种表现
结果显示乘法错误与加法式噪声量化不符。作者在小型 Qwen 模型上观察到一种此前未被描述的错误模式：低位数字列出错时，结果大多与原数字保持相同的奇偶性，也就是说错的位数往往只是数值接近而奇偶一致；而高位数字的错误则更多表现为进位处理上的 off-by-one，即差一。两类错误在数位高低上呈现不同倾向，说明乘法失败并非单一噪声机制。
对内部表征的推论
作者由此提出，大模型执行算术时依赖多种周期性的内部表征，其中奇偶性这类属性被追踪得比精确数字身份更稳健。这一解释把错误模式与 transformer 内部数值编码联系起来，为理解数值推理提供了机制层面的线索。论文被 NeurIPS 2026 NewInML workshop 接收，编号 arXiv:2610.38634。
为什么值得看
想弄清大模型为何算错乘法、以及内部数值表征如何组织的研究者，可从中看到与加法不同的错误机制。
Qwen大模型量化论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。