OfficeTown:用生成式组织模拟为智能体造训练环境

论文AI 评分 78/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

论文提出 OfficeTown,一个面向专业组织的生成式模拟框架:给定组织目标与活动的自然语言描述,框架会初始化一个组织,成员在其中协调工作、把有边界的任务分派给助手智能体并审核交付物。产物、决策与未决事项会留存并影响后续任务,职责与权限决定各成员可见与可做的范围。基于 23 个模拟组织、8 个专业领域,作者构建了含 406 个任务、4836 条评估标准的 OfficeTown Bench,并纳入领域专家反馈。前沿模型评测显示仍有较大提升空间;用该数据做监督微调与同策略蒸馏,可提升 Qwen3.5-9B 在 GDPval 等外部专业工作基准上的表现。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

组织即环境

OfficeTown 的出发点是把智能体的工作场景从单次任务改成持续运转的组织。框架接收一段关于组织目的与活动的自然语言描述,据此初始化成员结构;成员之间协调工作,把范围明确的任务交给助手智能体执行,再对交付物做审核。与一次性问答不同,这里的产物、已做决策和尚未解决的事项都会保留下来,成为后续任务的上下文,因此同一个智能体在不同时间面对的条件并不相同。职责与权限被显式建模,决定每个成员能看到什么材料、能操作什么。作者把工作请求、其上下文以及审核反馈整理成可执行资源,用于评测与学习。

基准的规模与构成

作者用这套模拟搭建了 OfficeTown Bench,覆盖 23 个模拟组织、8 个专业领域,共 406 个任务和 4836 条评估标准,构建过程中吸收了领域专家的反馈。评估标准数量远多于任务数量,说明单个任务按多条细则打分,而不是只给一个总分。论文对前沿模型做了评测,结论是仍有相当大的提升空间,也就是说当前模型在这类带组织上下文与审核环节的专业工作上尚未饱和。

训练数据的验证

为检验模拟产出的数据能否用于训练,作者在 OfficeTown 数据上对 Qwen3.5-9B 做监督微调与同策略蒸馏,并在包括 GDPval 在内的外部专业工作基准上观察效果,报告为明显提升。补充评测还比较了不同智能体组织方式:主智能体与助手智能体配合的 harness 得分高于所测试的单智能体与多智能体基线。这两组结果分别指向数据侧与结构侧——组织模拟既能生成贴近真实工作的训练环境,其内部的分工结构本身也影响表现。

适用范围

论文把这些结果归结为组织模拟在生成「有工作依据的数据与环境」上的价值,面向的是通用智能体的持续开发。需要注意的是,材料给出的是框架设计、基准规模与在特定模型上的训练结果,未涉及部署成本、推理开销或真实企业场景的落地情况;基准由模拟组织构成,与真实组织工作之间仍存在差距。对关注智能体训练数据来源与评测方法的人,可重点看任务与上下文的组织方式,以及主助手分工结构相对单、多智能体基线的差异。

为什么值得看

把「组织流程」变成可执行的训练与评测资源,并给出 406 任务、4836 条标准的公开基准,值得关注智能体数据来源的人…

Qwen智能体微调蒸馏模型评测

信源1 家

  1. [1]arXiv cs.AI一手信源OfficeTown: Generative Organizations for Evolving Agent Intelligence

关键事实

  • OfficeTown 从组织目标与活动的自然语言描述出发,初始化成员可协调工作、分派任务并审核交付物的模拟组织。[1]

  • 产物、决策与未决事项会持续留存并影响后续工作,职责与权限界定成员可见与可做的范围。[1]

  • OfficeTown Bench 由 23 个模拟组织、8 个专业领域构成,含 406 个任务与 4836 条评估标准,并纳入领域专家反馈。[1]

  • 前沿模型在该基准上的评测显示仍有较大提升空间。[1]

  • 在 OfficeTown 数据上做监督微调与同策略蒸馏,明显提升 Qwen3.5-9B 在 GDPval 等外部专业工作基准上的表现。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。