研究证实精简文档无助于编程智能体解决真实软件问题

该研究探究自然语言文档能否辅助编程智能体解决软件问题，并构建了评估工具。作者提出一种往返基准测试，通过代码重写是否通过原测试来评分，发现描述的保真度取决于完整性而非长度。以此作为优化信号，找到了能达到完全保真度且泛化至未见文件的提示词。然而，在两种模型族与十个代码库的测试中，当源码存在时，无论是静态精简文档还是检索上下文，都不如仅提供问题本身有效。研究最终报告了这一否定结果，并界定了文档发挥作用的边界。