Center for AI Safety与Scale AI发布RLI基准
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载基准由谁搭建
Remote Labor Index 由 Center for AI Safety 与 Scale AI 共同推出，目标是衡量 AI 智能体在真实、有经济价值的远程工作中能完成到什么程度。它的题目并非人工编造的练习题，而是从自由职业市场上取来的真实委托，覆盖软件开发、设计、建筑、数据分析、游戏开发以及视频动画等方向。设计思路是把智能体的能力直接对应到真实付费工作的产出结果上，而不是停留在抽象的能力打分。Epoch AI 所引用的结果，来自 Center for AI Safety 与 Scale AI 维护的公开排行榜。
240 个项目怎么构成
整个基准包含 240 个自成体系的真实项目，分布在 23 个自由职业领域。这些项目合计对应超过 6000 小时的专业工作量，价值超过 14 万美元。所谓自成体系，是指每个项目可以独立交付，不需要依赖其他项目的前置成果。智能体需要对每个项目做端到端的尝试，也就是从接到任务到交出成品，中间环节都要自己走完。评判时，交付物要对照一位受委托的人类专业人士被期待达到的水准来衡量，而不是与另一个模型互相比分。
自动化率为何偏低
核心指标叫自动化率，含义是在全部项目中，达到专业验收标准的项目所占的百分比。目前公开的分数处在较低的个位数百分比区间。这个数字的来龙去脉在于：分母是 240 个真实委托，分子是真正能被专业标准接受的那部分交付物，因此它反映的是可直接替代付费人力的比例，而不是任务完成度或部分正确率。与常见的问答、编程题类评测相比，RLI 的差别在于它不拆分步骤、不给中间提示，只认最终成品是否达到可交付水平，这也是分数偏低的原因之一。
适用范围与限制
RLI 的适用范围限定在远程、可独立交付的自由职业项目，覆盖的 23 个领域也以这类工作为主，因此它衡量的是智能体在付费远程工作场景中的表现，不能直接外推到需要现场协作或长期雇佣关系的岗位。它的限制还包括：项目数量为 240 个，样本规模有限；评判以人类专业验收标准为参照，标准本身带有一定主观性；智能体必须端到端完成，无法通过拆解任务来规避整体难度。对读者而言，这意味着当前公开分数所说明的是：在真实付费远程工作中，能被专业标准接受的交付物比例仍然很低，距离大规模替代这类人力还有明显距离。
为什么值得看
将AI能力与真实经济价值直接挂钩，揭示当前AI代理端到端完成复杂专业工作的实际水平极低。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。