注册

PresenceBench 发布：评估大模型能否按用户状态调整回答

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

arXiv 上一项名为 PresenceBench 的研究提出了一种测量工具，用来检验 AI 系统能否根据用户当下的功能状态（如准备度、心流、稳定性）调整输出，同时不牺牲任务质量与安全。该工具只考察模型如何使用外部传入的状态，不涉及状态如何被感知。首轮探索性评测覆盖四个模型、18 个单轮场景、6 个固定三轮场景和 6 个模拟自然对话场景，采用五组因果设计和人工成对比较。结果显示，向模型提供合成的状态信号后，四个模型的人类偏好点估计都高于 0.5，但八个 95% 区间中只有三个排除随机；特异性问题尚未解决，各模型区间均未排除随机，设计也无法把状态取值与“请适应”这类通用指令区分开。按策略下发状态降低了计费成本和输出 token，但由于正确性非劣效未成立，这只能算资源使用变化，不能算效率提升。安全底线失败在 360 例中仅 13 例。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

测什么与怎么测

PresenceBench 把“存在感知智能”拆成可测量的属性，本版只测两项：接受性，即模型拿到状态后是否给出比无信号时更好的回答；特异性，即这种改善是否依赖正确的状态，而非仅仅因为多了一段结构化上下文。第三项“跨状态适应”被列为必需终点，但本次未测。方法上采用五组因果设计，每个模型都与自身基线以及一个结构相同但状态错配的对照组比较，评分方式是带正确性门槛的人工成对比较。评测材料为单轮、固定三轮和模拟自然对话三类场景。

结果与边界

在合成状态以原始形式或转写为响应策略后，四个模型的人类偏好点估计都超过 0.5，但统计上并不稳固：八个 95% 区间只有三个排除随机。特异性则完全没有结论，没有任何模型的区间排除随机，现有设计也无法把状态的具体取值与“请适应”这类泛化指令分开。按策略下发状态相对各自基线降低了计费成本和输出 token，但作者明确说明这属于资源使用变化，因为正确性非劣效并未建立，不能称为效率提升。安全底线失败在 360 例中仅 13 例，策略下发下略多但不显著。

这份工具的意义

作者同时公开了测量工具、冻结的结果，以及一项确证性研究所需的对照设置，并指出本版属于探索性评估，第三项能力尚未测量。对关注个性化与对齐评测的读者，这份材料的价值在于它把“模型是否真的因人而变”拆成了可证伪的问题，并诚实标注了当前证据的薄弱处：偏好提升的方向有了，但特异性与正确性保障都还没有站住。

为什么值得看

它给出了评估“模型是否真的因人而变”的因果设计与首批结果，也暴露了当前证据的薄弱处，适合关注个性化与对齐评测的读者。

大模型安全

信源1 家

  1. [1]arXiv cs.AI一手信源PresenceBench: An Exploratory Evaluation of Large Language Model Adaptation to User State

关键事实

  • PresenceBench 只评估模型如何使用外部传入的用户状态，不评估状态如何被感知。[1]

  • 探索性评测覆盖四个模型、18 个单轮场景、6 个固定三轮场景和 6 个模拟自然对话场景。[1]

  • 提供合成状态后，四个模型的人类偏好点估计均高于 0.5，八个 95% 区间中三个排除随机。[1]

  • 特异性未被证实：各模型区间均未排除随机，设计无法区分状态取值与通用适应指令。[1]

  • 安全底线失败 360 例中 13 例，按策略下发状态时失败略多但不显著。[1]

相关 · 论文

研究者提出用「逆向博弈论」约束AI智能体行为

11月3日 周二·AI 58

OpenAI 研究：智能体安全评测与生产行为存在差距

11月3日 周二·AI 78

北大孙仲联合IBM等发布综述，重新定义现代模拟计算

11月3日 周二·AI 72

OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出

11月3日 周二·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论