2024-12-12 科技 0
克雷西，发自凹非寺
量子位 公众号 QbitAI
这个GitHub新项目，将让ChatGPT完成复杂任务，它支持GPT3.5和GPT-4。它通过将问题拆解，并调用外部资源，提高了GPT的工作能力。在它的调教下，GPT-4回答的准确率从68%提高到了85%。
我们也用倒拔垂杨柳的问题进行了测试，提供了诸葛亮、孙悟空和林黛玉三个选项。需要说明的是，由于没有GPT-4的API，测试是按照开发者介绍的方法手工完成的。当然了，个例并不能说明它的表现，还是要用数据集测试一下。
开发者使用了MMLU数据集分别对调教前后的GPT-4进行了测试。结果显示，未经调教的版本只答对了68%，而调教后的版本答对了85%。顺便提一句，真人专家在测试中的平均成绩是89.8%。
数学方面，也同样使用MMLU数据集进行测试，但准确率只有60%，但比原版GPT高出很多。这就好比化整为零，每一步都逐步解决，让SmartGPT中的环节形象地被比作职场中的角色：用户是“甲方”，智能系统则是“经理”、“老板”、“员工”。
作为“甲方”，只需输入问题，而不必给出额外指令。SmartGPT会帮助用户把问题拆分，然后按照步骤提交给GPT。此前有人发现，在输入给GPT的指令中加入“let’s think step by step”可以提高回复的准确率。而且,GPT-4具有回溯能力，可以发现并指出自己此前回答中的错误，这两个特性为SmartGpt工作提供重要支撑。
在用户输入完指令后，它会处理拆分，并添加类似的表述，然后传至API，并重复多次获取不同的答案，再发送要求其回溯答案并选择最优解，最终展示最佳答案给用户。这受到了三篇学术论文启发，其中包括关于链式提示方式、动态记忆及让LLM自我回溯以及用对话提高LLM完成度。
与其他工具相比，如AutoGPt等工具同样可以优化gpt，但smartgpt有更强大的推理能力，以及更简单易用的配置过程。不过项目刚推出，不久，因此稳定性还有待考证，有待进一步完善。在内存优化方面也有所欠缺，对环境资源消耗更多。但网友们表示，我们低估了gpt潜力，即使OpenAI本身也是如此。你期待gpt未来的表现吗？
