2024-12-12 科技 0
克雷西在凹非寺的量子位公众号QbitAI发布了一篇文章，介绍了一个名为SmartGPT的GitHub新项目。这个项目能够让ChatGPT完成复杂任务，并且支持GPT3.5和GPT-4。它通过将问题拆解并调用外部资源，提高了GPT的工作能力。在经过调教后，GPT-4回答的准确率从68%提高到了85%。
开发者使用MMLU数据集对调教前后的GPT-4进行了测试。结果显示，未经调教的版本只答对了68%，而调教后的版本答对了85%。数学方面，也使用MMLU数据集进行测试，虽然准确率只有60%，但比原版GPT40%好多。
SmartGPT中的环节被形象地比作职场中的角色：用户是“甲方”，提供任务；开发者是“经理”，将任务拆分并汇报给“老板”（制定计划）；然后由“员工”（编写伪代码）执行，“小黄人”（优化成LUA脚本）运行。
此前有人发现，在输入指令中加入“let’s think step by step”可以提高回复的准确率，而GPT-4还具有回溯能力，可以发现并指出自己之前回答中的错误。这两个特性为SmartGpt提供了重要支撑。
上述步骤受到了三篇学术论文启发，这些论文分别关于链式提示方式、动态记忆及让LLM自我回溯以及用对话提高LLM完成度。而与其他工具相比，Smartgpt之所以更强大，是因为其工作原理是将任务进行拆分，从而形成逻辑链条，因此拥有更强大的推理能力。此外，它由独立的子模块组成，可以任意排列、组合和删改，而且配置过程更加简单。但由于刚推出不久，所以稳定性有待考证，还存在内存优化和环境资源消耗的问题。
目前暂无开箱可用版本，但需要在Linux环境下搭建，有兴趣的话可以根据项目页面中的指示体验。
