论文提出文言文思维链,在Qwen3-4B上压缩中文推理长度

论文AI 评分 68/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇投稿于arXiv的论文提出「Wenyan Thinking」方法:让中文推理模型用文言文输出中间推理过程,最终答案仍保持简短直接。作者以现代汉语推理轨迹为起点,仅将推理部分改写为文言文,并据此微调Qwen3-4B-Thinking-2507。为区分「语体切换」与「一般压缩」的效果,研究用相同源数据、教师模型族、基座模型和监督微调流程构造了紧凑现代汉语对照组。在MMLU-ProX-Lite-ZH、CEVAL、AGIEval-CN三项预算敏感评测中,该方法在受限解码下明显缩短推理长度并降低未作答率;紧凑改写解释了大部分效率收益,而文言文在主基准上稳定优于紧凑现代汉语对照组,在其他基准上保持竞争力。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

问题起点:可见推理太啰嗦

论文关注的是中文推理模型的一个具体现象:模型展示出来的推理轨迹通常用现代白话文书写,在解码预算有限时会显得冗长。作者提出的问题是,推理所使用的语言语体本身能否成为提升效率的手段,而不只是靠压缩内容。为此他们提出Wenyan Thinking,让模型在中间推理环节使用文言文,而最终答案仍以简短直接的形式给出。这一设定的关键在于把「语体」单独拎出来作为变量,而不是笼统地讨论「写得更短」。

做法与对照设计

实现路径是:从已有的现代汉语推理轨迹出发,只把其中的推理字段改写为文言文,然后用这批改写后的监督数据微调Qwen3-4B-Thinking-2507。为了区分语体切换带来的效果和单纯压缩带来的效果,作者用同一批源数据、同一教师模型族、同一基座模型和同一套监督微调配方,另外构造了一个紧凑现代汉语对照组。这样两组之间的差异主要来自语体,而不是数据来源或训练流程的不同。

评测结果与结论

评测在MMLU-ProX-Lite-ZH、CEVAL和AGIEval-CN三个基准上进行,且都关注解码预算受限的情形。结果显示,Wenyan Thinking显著缩短了推理长度,同时降低了未作答率。作者指出,紧凑改写本身解释了效率提升的很大一部分;但在主基准上,文言文版本稳定优于紧凑现代汉语对照组,在其余基准上也保持竞争力。论文由此把语言语体定位为中文大模型高效可见推理的一个实用设计维度。

为什么值得看

把「用什么语体思考」当作效率设计变量,为中文推理模型的解码预算问题提供了可复现的对照实验。

Qwen推理模型微调论文

信源1 家

  1. [1]arXiv cs.AI一手信源Does the Linguistic Register of Thinking Matter? Wenyan as a Compact Reasoning Register for Chinese LLMs

关键事实

  • 论文提出Wenyan Thinking,让模型用文言文输出中间推理,同时保留简短直接答案[1]

  • 方法基于Qwen3-4B-Thinking-2507微调,训练数据由现代汉语推理轨迹改写为文言文而来[1]

  • 研究构造了使用相同源数据、教师模型族、基座模型和监督微调流程的紧凑现代汉语对照组[1]

  • 在MMLU-ProX-Lite-ZH、CEVAL、AGIEval-CN上评测,受限解码下推理长度与未作答率均下降[1]

  • 紧凑改写解释了大部分效率收益,文言文在主基准上优于紧凑现代汉语对照组[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。