2024-12-12 科技 0
克雷西，发自凹非寺
量子位 公众号 QbitAI
这个GitHub新项目，将让ChatGPT完成复杂任务，它支持GPT3.5和GPT-4。它通过将问题拆解，并调用外部资源，提高了GPT的工作能力。在它的调教下，GPT-4回答的准确率从68%提高到了85%。
经过调教之后，我们也用倒拔垂杨柳的问题进行了测试，其中包括诸葛亮、孙悟空和林黛玉三个选项。需要说明的是，由于没有GPT-4的API，测试是按照开发者介绍的方法手工完成的。当然了，个例并不能说明它的表现，还是要用数据集测试一下。
开发者使用了MMLU数据集分别对调教前后的GPT-4进行了测试。结果显示，未经调教的版本只答对了68%，而调教后的版本答对了85%。顺便提一句，真人专家在测试中的平均成绩是89.8%。
数学方面同样使用MMLU数据集进行测试，从中选择了15个大学难度的问题。这虽然准确率只有60%，但也是及格，而且比原版GPT40%已经好了太多。
SmartGPT中的环节形象地被比作职场中的角色：“甲方”：用户。“经理”：将任务拆分成高级子任务并逐一汇报给“老板”。 “老板”：制定计划，将高级子任务再次拆分，并分发给“员工”。 “员工”：接收任务编写伪代码交由“小黄人执行”。 “小黄人”：将伪代码优化成LUA脚本并运行。
作为用户，只需像使用普通GPT一样输入自己的问题，而不必给出额外指令。
SmartGPT会帮助用户把问题拆分，然后按照步骤提交给GPT。此前有人发现，在输入给GPT的指令中加入“let’s think step by step”，可以提高回复准确性。
同时,GPS具有回溯能力，可以发现并指出自己此前回答中的错误。
以上两个特性为SmartGP
