研究审计六款大模型戒烟建议：同一问题因用户画像不同而答案不同
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载审计怎么做的
研究把同一组四个戒烟问题分别交给十二种用户画像，画像在人生阶段、自述专业程度和吸烟史上各不相同，六款模型来自四家提供方，合计产生 2880 条回答。这样设计的目的是检验一个看似简单的问题：不同的人问同一件事，得到的建议是否一致。戒烟被选作测试领域，是因为它已有成文的临床指引，同时涉及较大的公共健康影响。
差异出现在哪里
回答内容与提问者呈现的身份相关。所有受测模型对青少年画像提到 FDA 批准处方戒烟药物的次数都少于成人画像，差距在 32 到 67 个百分点之间。另一处差异出现在专业程度上：六款模型里有五款，对自称有医疗专业知识的画像给出的事实数量反而少于没有任何专业背景的画像。也就是说，模型并非对所有人群一视同仁地提供同等信息量。
提示干预的效果
研究测试了一种可直接部署的做法：用简短的系统提示规定一条事实底线，即当核心医学事实与用户相关时，用户应当获得这些事实，而语气、词汇和表述框架仍可自由调整。该提示在每一款模型上都缩小了画像之间的差异，但它对整体事实覆盖的影响并不一致，幅度和方向都随模型而变。作者据此提醒，在一个系统上验证过的提示，不能假定可以迁移到另一个系统。
作者给出的两点限定
第一，提及率相等并不总是正确的临床目标，因为处方戒烟药物不推荐用于未成年人，所以可辩护的事实底线应当区分年龄，而不是统一标准。第二，由于画像同时在多个属性上变化，研究报告的是场景层面的差异，而不是年龄或专业程度的单独效应。全部 2880 条回答和分析代码已随论文公开，便于复核。
为什么值得看
健康建议类大模型存在系统性人群差异，且提示干预难以跨模型迁移，做医疗与消费健康应用的人需要看。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。