4DCodeBench发布:评测智能体从视频生成动态场景代码

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

4DCodeBench基准测试发布,用于评估智能体通过代码生成实现4D逆图形的能力。智能体需将视频转化为可执行图形程序,利用物理模拟等抽象重建动态场景。该基准包含真实视频与涵盖形变、流体及断裂等物理现象的合成场景。对前沿模型的广泛评测表明,当前强劲的静态重建能力尚无法可靠地泛化至复杂动态重建。此测试床旨在追踪智能体通过代码理解世界动态的进展。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

从视频到可执行程序

4DCodeBench 把动态场景的逆向图形任务交给代码生成来完成。智能体需要观看视频,再把画面里的场景结构与运动变化写成一段可运行的图形程序,而不是输出图像或三维模型。要做到这一点,程序里必须包含对物理过程的抽象,例如用模拟的方式复现复杂行为,从而把视觉观察压缩成紧凑的表示。评测所用的素材由两部分组成:一部分是真实拍摄的视频,另一部分是为评测专门构造的合成场景,覆盖形变、流体流动和断裂等多种物理现象。

静态强不等于动态强

研究团队对前沿模型做了较大规模的基准测试,得到的结论是:在静态重建上表现突出的模型,并不能顺理成章地可靠重建复杂动态。也就是说,把单帧或静态场景还原得好的能力,与把随时间演化的物理过程写成正确程序的能力之间,目前还存在明显落差。这一发现构成了该基准的核心观察点,也说明动态逆向图形是一个尚未被现有能力覆盖的方向。

基准的定位与用途

4DCodeBench 被定位为一个测试平台,用来跟踪智能体通过代码理解世界动态这一方向的进展。它评测的不是某一次生成结果是否好看,而是智能体能否把观察转化为可执行的图形程序,并借此复现形变、流体、断裂等行为。论文提交于 2026 年 10 月 2 日,编号为 arXiv:2610.03715,属于计算机视觉、人工智能与图形学交叉的类别,作者包括 Ruihong Shen、Žiga Kovačič、Peter Kulits、Xingrui Wang、Zizhang Li、Joshua B. Tenenbaum、Alan Yuille、Jieneng Chen 和 Jiajun Wu。基准本身已通过链接公开。

对使用者的意义

对关注智能体能力边界的人来说,这个基准提供的是一把可比的尺子:同一批真实视频与合成场景,同一套以代码为输出的任务形式,便于观察不同模型在动态重建上的差距。它的适用范围集中在动态场景的逆向图形与代码生成,评测对象是智能体而非单纯的渲染质量。限制也很清楚——现有模型在复杂动态上尚不可靠,静态能力的优势无法直接迁移。因此它更适合作为进展追踪工具,而不是判断某模型已具备通用物理理解能力的依据。

为什么值得看

揭示当前模型静态重建优势无法迁移至动态场景,为物理模拟与4D代码生成提供追踪基准。

智能体模型评测代码生成基准测试数据集

信源1 家

  1. [1]arXiv cs.AI一手信源4DCodeBench: Benchmarking Agents on Inverse Graphics of Dynamic Scenes

关键事实

  • 4DCodeBench用于评估智能体从视频重建动态场景并生成可执行图形程序的能力[1]

  • 基准数据集包含真实世界视频与涵盖形变、流体及断裂等物理现象的合成场景[1]

  • 前沿模型评测显示静态重建能力尚未能可靠转化为复杂动态重建[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。