SkillCT：面向智能体技能的多维评测基准与免执行基线
论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
SkillCT 把智能体技能评测从只看下游任务是否跑通，扩展到九个维度、三个层面：静态评估看技能说明本身的性质，动态评估看换骨干模型和换请求后行为是否稳定，人助评估看行为链一致性与任务粒度。作者用公开技能库跑出参考基准，并提出免执行基线：检索相似参考技能来预测未见技能的质量画像，不实际执行被评技能，从而减少 token 消耗与评测时间，同时与完整评估保持一致。经 SkillCT 指导的优化还能提升下游任务成功率与执行效率。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载现有技能评测的缺口
论文指出，智能体技能把指令、脚本和资源打包在一起服务特定任务，并越来越多地通过公开网络仓库分发。但现有技能基准主要盯着下游任务能否执行成功，对技能说明的规范质量、行为鲁棒性、语义对齐以及责任边界覆盖不足。另一层限制来自评测方式本身：这类基准依赖任务专用的工具、环境和反复执行，难以规模化，也不适合在部署前做评估。SkillCT 的出发点就是把评测对象从“跑不跑得通”转向“技能本身质量如何”。
九个维度怎么划分
SkillCT 把技能质量拆成三个方面、共九个互补维度。静态评估针对技能说明的固有属性，不涉及运行；动态评估关注被诱导出的行为在不同骨干模型和不同请求变体下是否保持稳定；人助评估则检查行为链的一致性和任务粒度是否合适。作者把这三面合起来，认为比单看执行成功率能给出更完整的质量视图，并在一份公开技能语料上跑出参考基准，用来分析质量短板以及各维度之间的关联。
免执行的质量画像预测
在基准之上，作者提出一个免执行的质量评估基线：对没见过的技能，先检索相似的参考技能，再借这些参考结果预测该技能的多维质量画像，全程不实际执行被评技能。这样做的收益是减少 token 消耗和评测时间，同时与完整评估保持一致性。论文还把 SkillCT 用于指导技能优化，报告下游任务成功率和执行效率均有提升，并据此主张该基准可用于规模化评估、技能改进与仓库维护。
为什么值得看
技能仓库越铺越大，执行式评测又贵又难扩展；这套免执行画像预测给出了部署前筛查的思路。
智能体
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。