研究提出J-ICL框架，解决大模型上下文学习易受误导问题
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载上下文权威的盲区
这篇论文指出，现有的大模型上下文学习后训练方法存在一个被忽视的盲点。这些方法擅长从示例中提取模式，却往往忽略了对上下文权威性的判断，也就是无法确定上下文信息是否应当主导最终答案。为衡量这种能力，作者构建了 FakeContextBench，其中收录了横跨七个领域的伪科学主张。对商业模型和开源模型的评估显示，仅靠大规模预训练并不足以可靠地辨别上下文权威性。更值得注意的是，常见的上下文学习微调方法反而会提高模型受误导性上下文影响的可能，与基础模型相比，现实准确率最多下降 14.95 个百分点。这一结果说明，模式提取能力的提升未必伴随对上下文可信度的判断力。
J-ICL 的训练思路
针对上述权衡，作者提出 Jurisdiction In-Context Learning（J-ICL），一种把上下文验证纳入训练目标的后训练框架。与只关注从演示中学习模式的做法不同，该框架在训练过程中同时要求模型判断上下文是否应当被采信。在四个模型骨干上，J-ICL 相比对应的基础模型，在 ICLEval 上平均提升 5.84 个百分点，现实准确率平均提升 9.20 个百分点。与 MetaICL 和 Symbol Tuning 相比，它还把 Reality Rate 平均提高了 18.09 个百分点。这些数字表明，上下文学习能力与对欺骗性上下文的抵抗力可以同时得到改善，而不必以牺牲一方为代价。
适用范围与读者意义
论文的评估对象覆盖商业模型与开源模型，测试材料是七个领域的伪科学主张，因此其结论主要适用于需要模型在存在误导性上下文时仍给出可靠答案的场景。作者同时公开了该基准，供后续研究使用。对使用上下文学习部署大模型的读者而言，这意味着仅依赖示例微调可能带来现实准确率下降的风险，而把上下文验证写入训练目标是一种可考虑的改进方向。论文也提示，预训练规模本身并不能替代对上下文权威性的专门训练。该工作提交于 2026 年 9 月 23 日，最新版本为 2026 年 10 月 12 日的 v2。
为什么值得看
揭示主流ICL微调反降事实准确率的问题，并提供有效缓解框架，对提升大模型部署可靠性具关键价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。