2024-12-12 科技 0
克雷西在凹非寺的量子位公众号QbitAI发布了一篇文章，介绍了一个名为SmartGPT的新GitHub项目。这一项目能够让ChatGPT执行复杂任务，并支持GPT3.5和GPT-4。通过将问题拆解并调用外部资源，SmartGPT显著提高了GPT的工作能力。在经过调教之后，GPT-4回答的问题准确率从68%提升到了85%。
文章中提到，由于没有直接使用过6升引擎，所以虽然不理解为什么不直接用，但也取得了很大进步。此外，他们还测试了倒拔垂杨柳的问题，并提供了诸葛亮、孙悟空和林黛玉三个选项。由于缺少的是API，因此测试是根据开发者的介绍手工完成的。
当然，这个结果不能代表它总体表现，还需要使用数据集进行更全面的测试。开发者使用MMLU数据集分别对未经调教前的和调教后的版本进行了测试，显示未经调教前只有68%，而经过调教后则达到了85%。
此外，在数学方面，也同样使用MMLU数据集进行测试，从中选择15个大学难度问题。尽管准确率只有60%，但还是及格，而且比原版GPT高出太多。
作者将SmartGPT中的环节形象地比作职场中的角色：“甲方”指用户，“经理”负责把任务分配给“老板”，而“员工”则是编写伪代码交由“小黄人”执行。“小黄人”则是将伪代码优化成LUA脚本并运行。这使得作为“甲方”的用户只需输入问题，而无需额外指令就能获得答案。
SmartGPT会帮助用户把问题拆分，然后按照步骤提交给GPT。如果在输入指令时加入"let's think step by step"这样的表述，可以提高回复的准确率。此外,GPT-4具有回溯能力，可以发现并指出自己之前回答中的错误，这两种特性为SmartGPT的工作提供重要支撑。
文章最后提到AutoGPT等工具同样可以优化性能，但SmartGP
