2024-12-12 科技 0
克雷西，发自凹非寺
量子位 公众号 QbitAI
这个GitHub新项目，将让ChatGPT在复杂任务上大放异彩。它支持GPT3.5和GPT-4，并通过将问题拆解并调用外部资源来增强GPT的能力。在其调教下，GPT-4的回答准确率从68%提高到了85%。虽然开发者提到没有直接使用6升，但仍然取得了显著进步。
我们还用倒拔垂杨柳的问题进行了测试，提供了三个选项：诸葛亮、孙悟空和林黛玉。由于缺少GPT-4的API，我们的手工测试仅基于开发者的介绍。此外，由于个例不能代表全貌，我们需要利用数据集进行全面测试。
开发者使用MMLU数据集对调教前后的GPT-4进行了测试。结果显示未经调教的版本只答对了68%，而调教后的版本答对了85%。与此同时，真人专家在同样的测试中的平均成绩达到了89.8%。
数学方面，也采用MMLU数据集进行测试，并从中选择15个大学难度的问题。这次虽然答案只有60%，但比原版GPT多出了40%，已足以及格。
SmartGPT中的环节被形象地比作职场中的角色：“甲方”是用户，“经理”将任务分配给“老板”，“员工”编写伪代码交给“小黄人执行”，而“小黄人”则优化LUA脚本运行。在作为“甲方”的用户时，只需像使用普通GPT一样输入问题，而无需额外指令。
SmartGPT会帮助用户把问题拆分，然后按照步骤提交给适当的模型。此前有人发现，在输入指令中加入"let's think step by step"可以提升回复准确率。而且,GPI具有回溯能力，可以发现并指出自己之前回答中的错误，这为SmartGP
