Pinocchio：面向黑盒大模型的不确定性快速评估方法
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对闭源API模型不返回对数概率且禁止微调，导致难以评估输出不确定性的问题，Pinocchio提出一种外部校准器来预测黑盒模型回复的正确性。该工具联合七个大模型的回复进行训练，对同源未见回复的预测AUROC达0.862，且对八个机构的十三个未知模型实现零样本迁移。生成评估仅需单次前向传播，无需获取目标模型内部状态。其0.8B轻量版即可媲美最大模型的AUROC，接入现有代码库仅需新增两行代码。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载黑盒模型不确定性评估痛点
在高风险决策场景中，大语言模型不仅需要输出准确结果，还需提供预测的不确定性估计。现有评估方法通常依赖模型输出的对数概率或要求微调权限。然而，众多工业级大模型产品属于闭源API服务，如GPT等往往不提供对数概率接口，也不允许用户微调，导致传统不确定性评估手段无法直接应用。
Pinocchio运行机制与性能
Pinocchio作为外部校准器，通过联合七个不同大语言模型的回复进行训练，从而估计黑盒模型输出的正确性。在测试中，其对同源模型未参与训练的回复预测达到了0.862的AUROC。更关键的是，它展现出了强大的泛化能力，对来自八个不同机构的十三个全新未知模型实现了零样本迁移预测。整个评估过程无需目标模型的logits、权重或内部状态，仅需单次前向传播即可生成不确定性估计。
轻量化与工程易用性
在模型规模与部署成本上，Pinocchio提供了仅0.8B参数量的轻量级文本检查点，其预测表现能够与最大模型相媲美，大幅降低了计算开销。在工程集成方面，开发者只需在现有代码库中额外添加两行代码，即可引入不确定性评估功能，极大提升了该方法的实用性与落地便捷性。
为什么值得看
为无法获取logits的闭源API大模型提供即插即用、低成本的输出可靠性评估，解决高风险应用场景的痛点。
大模型微调API
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。