2024-12-12 科技 0
克雷西在凹非寺的量子位公众号QbitAI发布了一篇文章，介绍了一个名为SmartGPT的GitHub新项目。这个项目能够让ChatGPT完成复杂任务，并且支持GPT3.5和GPT-4。它通过将问题拆解并调用外部资源，提高了GPT的工作能力。在经过调教后，GPT-4回答的准确率从68%提高到了85%。
开发者使用MMLU数据集对调教前后的GPT-4进行了测试。结果显示，未经调教的版本只答对了68%，而调教后的版本答对了85%。数学方面，也使用MMLU数据集进行测试，虽然准确率只有60%，但比原版GPT高出很多。
SmartGPT中的环节形象地比作职场中的角色：“甲方”是用户，“经理”将任务拆分给“老板”，然后“员工”编写伪代码交给“小黄人”执行。“小黄人”将伪代码优化成LUA脚本并运行。
SmartGPT会帮助用户把问题拆分，然后按照步骤提交给GPT。此前有人发现，在输入给GPT的指令中加入“let’s think step by step”可以提高回复的准确率。而且,GPT-4具有回溯能力，可以发现并指出自己此前回答中的错误。这两个特性为SmartGpt工作提供了重要支撑。
在用户输入完指令后，Smartgpt会处理拆分，其中包括添加类似表述，如"let's think step by step"等，然后传至gpt api，并重复多次获取不同的答案，最终展示给用户最佳答案。此方法受三篇学术论文启发，它们分别关于链式提示方式、动态记忆及让LLM自我回溯以及用对话提高LLM完成度。
与其他工具相比，比如AutoGPt, SmartgPt有更强大的推理能力，以及更简单易用的配置过程。不过，由于这是一个刚推出的项目，因此稳定性还有待考证，同时消耗环境资源也更多。在项目推出之后，有网友表示我们低估了gpt 的潜力，即使包括OpenAI自己也有同样的看法。如果你期待gpt 未来的表现，那么现在就可以根据下面的链接体验：
https://github.com/Cormanz/smartgpt
以上内容来自于克雷西在凹非寺发布的一篇文章，该文章详细介绍了一些相关论文和技术细节。如果你想了解更多关于这个主题或者想要深入学习这些技术，你可以关注量子位公众号QbitAI，我们会第一时间更新最新科技动态。
