CollabSciReM 提出科研对话奖励分解框架并发布 SciQuality…
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究团队提出 CollabSciReM，把会话级奖励拆成对话质量、科学严谨性与结构效率三部分，用于对齐语言模型的科研多轮对话。同时构建 SciQuality 评测，基于 300 篇留出论文，从方法可靠性、论证、逻辑一致性、事实正确性、新颖性和响应性六个维度成对打分。用 8.62K 条合成科研对话微调后，在 Llama 与 Qwen 四个模型上均优于同数据训练的科学无关奖励基线，等长响应下胜率 65.3%；7B 与 8B 模型在 10 项单轮与多轮基准中有 8 项主指标领先。盲测中专家对新新颖性评分更高，幻觉回答少于通用奖励变体和基座模型。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载奖励拆成三个维度
现有对齐方法难以同时满足准确、方法有据、逻辑一致和 token 高效。论文指出，指令微调模型常靠冗长换取对话质量，而科学无关的通用协作奖励在压缩回答时会牺牲科学严谨性。CollabSciReM 采用目标条件奖励框架，把一次会话的整体奖励拆成对话质量、科学严谨性与结构效率三块，使训练信号能分别约束这几项要求，而不是让它们互相抵消。
SciQuality 六维评测
为衡量科研对话质量，作者构建 SciQuality，以 300 篇留出科学论文为 grounding，对多轮研究对话做成对比较，评分覆盖方法可靠性、论证充分性、逻辑一致性、事实正确性、新颖性和响应性六个维度。这使评测不只看回答是否流畅，还检查方法是否站得住、推理是否自洽、是否贴合提问。
微调与对比结果
模型在 8.62K 条合成科研对话上微调。在 SciQuality 上，CollabSciReM 在 Llama 与 Qwen 共四个模型上均胜过用同一批数据训练的科学无关奖励基线，响应长度匹配时胜率达 65.3%。对 7B 和 8B 模型，在 10 种单轮与多轮基准设置中有 8 项主指标优于该基线。
专家盲测表现
盲测中，领域专家给 CollabSciReM 的新颖性评分明显高于通用奖励变体，并报告其幻觉回答少于通用奖励变体和基座模型。论文共 9 页、5 幅图，归入计算与语言及人工智能方向。
为什么值得看
科研场景的模型对齐需要兼顾严谨与简洁，该工作给出可复用的奖励分解与六维评测方案。
LlamaQwen微调幻觉对齐
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。