研究者提出 Skeleton Coding:让开发者用程序骨架约束编码智能体

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 Skeleton Coding 方法,主张开发者在给编码智能体提供行为规格(如测试和输入输出样例)之外,同时用接近代码的高层格式指定程序结构,即数据类型、模块与函数的分解方式。作者认为,智能体先选定结构,结构决定候选程序的范围,行为规格再在其中筛选;同一套测试对某种结构够用,对另一种结构可能严重不足。论文把 AI 辅助编码建模为控制问题,论证骨架可指数级减少所需测试数量。在四个模型、三个基准上,最佳骨架规格使平均测试误差相对最佳端到端行为规格降低 48.4%;即使智能体可查询完整参考实现,加入骨架仍使平均测试误差相对降低最多 27.0%。骨架还把大小模型之间的平均差距缩小约 52.4%,实现成本降低 15 至 26 倍,代码侵蚀平均减少 24.7%。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

问题:规格够不够无法预先判断

论文关注编码智能体的规格供给问题。通常开发者给智能体的是端到端行为规格,例如测试用例和输入输出样例,然后由智能体自行决定实现方式。作者指出,需要提供多少条、哪几条规格,无法在事前确定,因为这取决于实现的结构,而结构恰恰由智能体选择。智能体先确定一种结构,也就是把程序拆成数据类型、模块和函数,这等于锁定了一批候选程序;行为规格的作用是在这批候选中挑出目标程序。同一组测试对某种结构可能足够,对另一种结构则可能留下大量未定空间,需要不同的边界情况,甚至需要指数级更多的样例。由于结构由智能体决定,开发者若不逆向阅读成千上万行生成代码,就难以确认自己的规格是否完整。

做法:把结构写进规格

针对上述问题,作者提出 Skeleton Coding:开发者除行为规格外,还用高层、接近代码的格式把程序结构一并写清楚,作为对智能体的额外约束。理论层面,论文把 AI 辅助编码建模为一个控制问题,并论证骨架能够指数级减少开发者需要提供的测试数量,从而把智能体导向可接受的程序。这一结论针对的是规格数量与结构之间的关系,而非单纯提升某个模型的生成能力。

实验:误差、成本与代码侵蚀

实证部分覆盖四个模型和三个基准。表现最好的骨架规格相对最好的端到端行为规格,使平均测试误差降低 48.4%。在智能体可以查询完整参考实现的设定下,加入骨架仍使平均测试误差相对降低最多 27.0%,说明骨架带来的收益并不完全来自弥补信息缺失。骨架还使小模型与大模型之间的平均差距缩小约 52.4%,同时把实现成本降低 15 至 26 倍,并使代码侵蚀平均减少 24.7%。论文归类于软件工程与人工智能方向。

为什么值得看

给编码智能体写规格一直靠试错,这篇论文给出可量化的替代做法:先定结构再定行为,测试量可大幅下降。

大模型智能体论文

信源1 家

  1. [1]arXiv cs.AI一手信源Skeleton Coding: Program Structure as a Specification for Agents

关键事实

  • 论文提出让开发者以高层、类代码格式同时指定程序结构与行为规格[1]

  • 在四个模型、三个基准上,最佳骨架规格使平均测试误差相对降低 48.4%[1]

  • 智能体可查询完整参考实现时,加入骨架仍使平均测试误差相对降低最多 27.0%[1]

  • 骨架将小模型与大模型之间的平均差距缩小约 52.4%,实现成本降低 15 至 26 倍[1]

  • 骨架使代码侵蚀平均减少 24.7%[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。