arXiv 论文比较提示法与 token 概率法评估语言模型语义焦点敏感度
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载实验设计与测试对象
论文选取语义焦点敏感度作为测试领域，考察的是句子中焦点位置不同带来的可接受度差异，例如重音落在动词还是时间状语上。作者用粗体、斜体这类文本焦点标记向不同规模的模型呈现材料，并同时采用两种评估路径：一是直接提问式的显式提示，二是基于 token 概率的打分。这一设计的意义在于，把此前在较小模型上观察到的「提示不如概率」现象，放到一个此前未被覆盖的语言学范畴里重新检验。
两种方法的表现差异
结果显示，token 概率法在所有被测模型上都稳定高于随机水平，说明模型对焦点位置确实存在可测量的敏感度。提示法的整体走势与既有研究相符，但作者注意到一个例外：在部分较大模型上，提示法的表现远超概率法，差距并非边际性的。这与「模型越大、显式提问越有效」的既有观察方向一致，但幅度值得注意。
对差异来源的解释与验证
作者提出的解释是，模型本身不倾向产出无上下文铺垫的焦点标记，这会以某种方式干扰基于 token 概率的测量，而提示法不受这一因素影响。为验证该解释，作者把标准焦点标记替换为随机生成的标记后重做实验：概率法依然高于随机水平，但性能下降幅度明显大于提示法。这一对照支持了「概率法对风格 atypical 的数据更脆弱」的判断。
对语言能力评估的含义
作者据此主张，元语言层面的提示虽然对模型并非轻而易举，但在测试风格非常规的数据时可能更稳健。论文强调，这一结论对评估语言模型的语言能力有实际影响，即便模型并不是通过类似人类内省的方式完成元语言判断。换言之，选择提示还是概率，会系统性影响对模型语言能力的结论，评测设计需要把数据风格纳入考量。
为什么值得看
想了解提示法与概率法在语言能力评测中何时失效、如何被数据风格影响，这篇给出了可复现的对照实验。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。