2024-12-12 科技 0
克雷西在凹非寺的量子位公众号QbitAI发布了一篇文章，介绍了一个名为SmartGPT的GitHub新项目。这个项目能够让ChatGPT完成复杂任务，并且支持GPT3.5和GPT-4。它通过将问题拆解并调用外部资源来提高GPT的工作能力。在经过调教之后，GPT-4回答的准确率从68%提高到了85%。
开发者使用了MMLU数据集对调教前后的GPT-4进行了测试。结果显示，未经调教的版本只答对了68%，而调教后的版本答对了85%。数学方面，同样使用MMLU数据集进行测试，开发者从中选择了15个大学难度的问题。虽然准确率只有60%，但也是及格了，而且比原版GPT的40%已经好了太多。
SmartGPT中的环节形象地被比作职场中的角色，其中“甲方”是用户，“经理”是将任务拆分成高级子任务并汇报给“老板”的角色，“老板”是制定计划并分发给“员工”的角色，“员工”接收任务编写伪代码交给“小黄人”，而“小黄人”则将伪代码优化成LUA脚本并运行。
此前有人发现，在输入给GPT的指令中加入“我会一步步思考”的表述可以提高回复的准确率。此外，SmartGPT还具有回溯能力，可以发现并指出自己此前回答中的错误。这两个特性为SmartGPT提供了重要支撑。
由于其工作原理是将任务进行拆分，从而形成逻辑链条，因此SmartGPT拥有更强大的推理能力。而实用性上，由于它由独立子模块组成，可供用户任意排列、组合和删改配置过程更简单。不过，也需要注意的是，这个项目刚推出不久，因此稳定性有待考证，在内存优化方面还有所欠缺，消耗环境资源也更多。
目前暂无开箱可用的版本，但需要自行在Linux环境搭建，有动手能力强读者可以根据下面的项目页面中的指示体验：
项目地址：https://github.com/Cormanz/smartgpt
涉及到的论文：[1]. https://arxiv.org/abs/2305.02897 [2]. https://arxiv.org/abs/2303.11366 [3]. https://arxiv.org/abs/2303.17071
参考链接：[1]. https://www.youtube.com/watch?v=wVzuvf9D9BU [2]. https://www.reddit.com/r/singularity/comments/13axo1r/gpt_4_is_smarter_than_you_think_introducing/
— 完 —
