2025-03-09 智能 0
新智元导读：GPT-5无需手写代码，MIT微软揭秘GPT-4自我修复机制。OpenAI工程师未来仅需提供反馈。我们探索大模型自省能力如何进行代码纠错，以及它对错误的准确性评估。在近期的一项研究中，MIT和微软学者发现只有GPT-4显示出有效的自我修复功能，并且能够为GPT-3.5生成程序提供反馈。
实验结果表明：
GPT-4实现了性能提升，但对于GPT-3.5，其修复后的通过率低于或等于未修复方法。
GPT-4性能提升适度，在7000个token下，通过率从66%提高到71%，约等45个独立同分布样本的成本。
使用GPT-4生成反馈可以获得更好的自修复效果，甚至超过基准无修复方法。
人类程序员提供解释能显著改善修复效果。
四阶段自我修复包括代码生成、执行、反馈生成和修改。研究人员定义了这四个阶段：首先根据规范生成代码，然后在测试平台上执行并获取错误信息；接着使用反馈模型产生详细错误解释，为每个错误程序各列出候选解决方案，每个分支至多与一条反馈相连。
作者介绍：
Jianfeng Gao（高剑锋），IEEE Fellow，是微软杰出科学家及副总裁，也是Redmond深度学习组负责人。他领导构建大规模基础模型，并将其应用于自然语言理解和图像处理，以及开发对话代理。他目前负责研究人工智能自动增强，以用于商业系统的开发。
Chenglong Wang是微软研究院研究员，他曾在华盛顿大学获得博士学位，并就读于北京大学。
