MAxBench：多项式概念恢复基准发布
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载从二分类走向多分类
语言模型行为控制被视为可解释性研究中较具落地价值的方向之一。对于拒绝这类只有两种状态的概念，激活空间里的单一方向往往就够用来做引导。但现实中大量概念并非二分类：动物、国家这类概念包含多个子类，每个子类下又有多个实例。这类概念可能对应的表示几何形态，其搜索空间比二分类情形大得多，因此哪种几何形态更合适、哪种方法更容易把概念还原出来，此前并没有明确答案。MAxBench 正是针对这一空白提出的评测框架，它不预设几何形态，而是以从还原出的概念表示中采样作为评判依据。
十种方法与六概念四模型
MAxBench 的评测规模覆盖 10 种定位方法，这些方法分属 5 种几何类型，并在 6 个概念与 4 个模型上展开比较。框架的设计思路是把几何形态的选择从评测前提中剥离出去，让不同形态的方法在同一套采样标准下接受检验，从而避免评测结果被某一种表示假设所左右。这一设置使得方法之间的差异更多来自方法本身，而非其所依赖的几何先验。
仿射子空间的优势来源
比较结果给出了几点发现。其一，仿射子空间在引导上更稳定，召回率也高于秩一子空间与线性子空间。其二，这种优势很大程度上来自更合适的非零偏移量，而不是基的选择。其三，在适用条件下，流形引导与表现最好的方法相比具有竞争力。其四，没有任何一种方法能稳定胜过提示，这与此前在二分类概念上得到的结论一致。这些结果提示，可解释性研究及其元评测需要把范围扩展到结构更丰富的概念上。
对使用者的实际含义
对希望借助表示引导来控制模型行为的使用者而言，这项工作的直接含义是：当目标概念包含多个子类时，不能照搬二分类场景下用单一方向处理的做法，而应把偏移量纳入方法设计的考量，因为偏移量而非基底选择才是仿射子空间表现更好的主要原因。同时，由于没有方法能稳定超过提示，在投入表示工程之前，提示仍是需要对照的基线。框架本身以采样作为评判入口，也意味着评价的重点落在还原出的表示能否支撑对概念的实际取用。
为什么值得看
为评估模型内部非二元概念表示提供了统一基准，有助于提升可解释性研究的精细度。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。