MIT与微软共同证实GPT-4以自我纠正的智慧不断迭代完善代码就像一位不断学习提升技艺的艺术家以科技

新智元导读：GPT-5无需手写代码，MIT微软揭秘GPT-4自我修复机制。OpenAI工程师未来仅需提供反馈。我们探索大模型自省能力如何进行代码纠错，以及它对错误程序的准确性评估能力。此外，我们了解到在GPT-4和GPT-3.5之间，只有前者展现出有效的自我修复能力，并且能够为后者的生成程序提供反馈。

研究人员发现：

GPT-4实现了性能提升，但对于GPT-3.5，在所有预算下，修复后的通过率低于或等于未进行修复的基准。

即使是GPT-4，也只能获得适度的性能提升（在7000个token时，从66%提高到71%，约相当于45个独立同分布的GPT-4样本成本），并且取决于初始程序多样性。

使用GPT-4生成的反馈替换掉GTP-3.5解释，可以获得更好的自我修复效果，甚至超过基准无修复方法（在7000个token下，从50%提高到54%）。

使用人类编程人员提供解释替换掉GTP-4自己的解释，可以显著改善修复效果，增加57%通过测试程序数量。

四阶段自我修复方法包括代码生成、执行、反馈生成和代码修改。这一过程由研究人员详细定义。在第一阶段中，对给定规范使用一个程序模型来首先产生输出。在第二阶段中，将这些代码放入测试平台上执行，以便检验是否存在编译/运行时错误信息或与期望不同之处。此后，在第三阶段中，用反馈模型为每个错误产生更详细的描述，而第四步则从候选变异体开始，每种变异体分支至特定的反馈以确定最优解决方案。

文章作者介绍：

Jianfeng Gao（高剑锋）

高剑锋是微软杰出的科学家兼副总裁，并拥有IEEE Fellow称号。他领导深度学习组，该组致力推动最新技术并将其应用自然语言和图像理解以及构建对话代理。他负责人工智能系统增强及适应，如ChatGPGT/GP47开发商业用途。

Chenglong Wang

Chenglong Wang是微软研究院研究员，此前获得华盛顿大学博士学位并就读北京大学。