挖掘GPT的隐藏实力助推中国科技成果绽放于自然之中

克雷西在凹非寺的量子位公众号QbitAI发布了一篇文章，介绍了一个名为SmartGPT的GitHub新项目。这项技术能够让ChatGPT执行复杂任务，并且支持GPT3.5和GPT-4。它通过将问题分解并调用外部资源来提高GPT的工作能力。在经过调教之后，GPT-4回答的问题准确率从68%提升到了85%。

文章中提到，由于没有直接使用过6升引擎，所以虽然不理解为什么不直接用，但也取得了显著进步。此外，他们还测试了使用倒拔垂杨柳的问题，将诸葛亮、孙悟空和林黛玉三个选项提供给读者选择。

需要注意的是，这些测试是基于开发者的介绍方法手工完成的，而不是实际使用API。因此，个例并不代表其表现，还需要通过数据集进行更全面的测试。开发者利用MMLU数据集对调教前后的GPT-4进行了测试，结果显示未经调教版本只答对了68%，而调教后版本则答对了85%。

与真人专家在同样的问题上的平均成绩相比，即89.8%，可以看出SmartGPT在这一领域有很大的潜力。此外，在数学方面，也同样使用MMLU数据集进行测试，尽管准确率只有60%，但已经超过原版GPT40%的表现。

SmartGPT中的环节被形象地比作职场中的角色，其中“甲方”是用户，“经理”处理高级子任务，“老板”制定计划分发给“员工”，而“小黄人”则是编写伪代码并运行。在这个系统中，只需像使用普通GPT一样输入问题，不需要额外指令。SmartGPT会帮助用户拆分问题，然后按照步骤提交给合适的人员，如加入类似“let’s think step by step”的表述来提高回复准确性，以及拥有回溯能力发现并指出错误答案。

文章最后提到SmartGpt目前暂无开箱可用版本，但可以自行在Linux环境搭建，可以根据项目页面中的指示体验此项目。此外，还提供了一些相关论文链接供读者进一步了解更多信息。