2024-12-12 科技 0
克雷西，发自凹非寺
量子位 公众号 QbitAI
这个GitHub新项目，将让ChatGPT在复杂任务上大显身手。它支持GPT3.5和GPT-4，不仅如此，它还能通过拆解问题并调用外部资源，显著增强了GPT的工作能力。在其调教之下，GPT-4的回答准确率从68%提升至85%。经过调教后，我们虽然不明白为何不直接使用6升，但仍有显著进步。
我们还用倒拔垂杨柳的问题进行了测试，并提供了诸葛亮、孙悟空和林黛玉三个选项。需要说明的是，由于缺乏GPT-4的API，我们的手工测试是基于开发者介绍的方法进行完成。此外，我们也要通过数据集来进一步验证这一点。
开发者利用MMLU数据集，对未经调教和调教后的版本进行了测试结果显示，未经调教版本只答对了68%，而调教后的版本则达到了85%。此外，在数学方面，我们同样使用MMLU数据集进行测试，并选择了15个大学难度的问题，其中虽然准确率只有60%，但比原版GPT的40%已经有所提高。
开发者将SmartGPT中的环节形象地比作职场中的角色：“甲方”代表用户，“经理”负责与“甲方”对接并分配任务，“老板”制定计划并分发任务给“员工”，而“员工”则负责编写伪代码并交由“小黄人”执行。“小黄人”的作用是将伪代码优化成LUA脚本并运行。
作为用户，只需像使用普通GPT一样输入问题，而无需额外指令。SmartGPT会帮助用户把问题拆分，然后按照步骤提交给GPT。此前，有人发现在输入指令中加入"let's think step by step"可以提高回复准确率。此外,GPT-4具有回溯能力，可以发现并指出自己之前回答中的错误，这些特性为SmartGpt工作提供重要支撑。
以上两个特性受到了三篇学术论文启发：分别关于"链式提示方式","动态记忆及让LLM自我回溯"以及"用对话提高LLM完成度”。相较于其他工具，如Auto-Gpt等，其优势在于形成逻辑链条，从而拥有更强大的推理能力。此外，由于其独立子模块，可供用户任意排列、组合和删改，而且配置过程简单。不过，该项目刚刚发布，因此稳定性还有待考证，还存在内存优化方面的问题，以及消耗环境资源更多的情况。
项目目前暂无开箱可用的版本，但需要在Linux环境中搭建。如果你具备一定技术水平，可以根据项目页面上的指导体验：
项目地址：https://github.com/Cormanz/smartgpt
涉及到的论文：[1]. https://arxiv.org/abs/2305.02897 [2]. https://arxiv.org/abs/2303.11366 [3]. https://arxiv.org/abs/2303.17071
参考链接：[1]. https://www.youtube.com/watch?v=wVzuvf9D9BU [2]. https://www.reddit.com/r/singularity/comments/13axo1r/gpt_4_is_smarter_than_you_think_introducing/
— 完 —
