注册

FaithAlign：理论级自动形式化忠实度评测基准发布

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文提出把自动形式化的忠实度评估重新定义为「先对齐再标注」的上下文感知问题：在非形式化陈述与形式化陈述之间找出短语级对应关系，并在明确给出的上下文解释与假设下为每个对应打忠实度标签。作者同时发布 FaithAlign，称其为首个理论级忠实度基准，含 460 个条目、4,982 条短语级标注链接，以及配套的 FaithAlign-Gap，含 146 个隐去非形式化上下文与假设的条目。在 8 个模型上，GPT-6 Astra 的缺陷 F1 最高为 47.8%，在含两个及以上缺陷的条目中仅 4.5% 能全部找出；在 FaithAlign-Gap 上仅 28.2% 的不可判定条目被正确识别。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

忠实度评估被重新定义

论文指出，自动形式化不只是让形式化陈述通过编译，还要求它保留非形式化来源的含义，这一性质被称为忠实度。现有方法多停留在陈述级别，只给出整条判定，既看不出各个表达式之间如何对应，也看不出是哪些上下文解释支撑了该判定。作者认为这种缺失影响很大，因为自动形式化本质上是理论级的：目标陈述的含义来自周围的数学材料与未明说的约定。为此论文把忠实度评估表述为上下文感知的「先对齐再标注」问题，即在非形式化与形式化陈述之间找出短语级对应关系，并在明确指定的上下文解释与假设下，为每个对应赋予忠实度标签。

基准构成与配套数据集

论文发布 FaithAlign，称其为首个理论级忠实度基准，规模为 460 个条目、4,982 条短语级标注链接。每个条目包含目标陈述对、相关上下文、形式化依赖，以及在需要时用于指定某一种给定解释的假设。作为配套，作者还给出 FaithAlign-Gap，包含 146 个条目，其非形式化上下文与假设被隐去，用于考察模型在信息不完整时的表现。两个数据集共同构成细粒度、上下文感知的忠实度评测环境。

八个模型上的量化结果

论文在 8 个模型上进行了评测。GPT-6 Astra 取得最高的缺陷 F1，为 47.8%；在包含两个或更多缺陷的条目中，它只有 4.5% 能把所有缺陷都找出来。在 FaithAlign-Gap 上，Astra 只把 28.2% 的不可判定条目识别为不可判定。作者据此说明，恢复依赖上下文的对应关系相当困难，FaithAlign 可作为细粒度、上下文感知忠实度评估的测试平台。

为什么值得看

给出理论级忠实度评测的具体基准与量化结果，显示当前模型在上下文依赖的对应关系上仍有明显短板。

GPT对齐论文

信源1 家

  1. [1]arXiv cs.AI一手信源Aligning Faithfulness for Theory-Scale Autoformalization

关键事实

  • 论文提出将忠实度评估形式化为上下文感知的 align-then-label 问题，在非形式化与形式化陈述间做短语级对应并逐条打标签[1]

  • FaithAlign 被描述为首个理论级忠实度基准，包含 460 个条目和 4,982 条短语级标注链接[1]

  • 配套的 FaithAlign-Gap 含 146 个条目，隐去了非形式化上下文与假设[1]

  • 在 8 个模型上，GPT-6 Astra 的缺陷 F1 最高为 47.8%，在含两个及以上缺陷的条目中仅 4.5% 全部识别[1]

  • 在 FaithAlign-Gap 上，Astra 仅将 28.2% 的不可判定条目识别为不可判定[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论