2024-12-12 科技 0
克雷西，发自凹非寺
量子位 公众号 QbitAI
这个GitHub新项目，将让ChatGPT完成复杂任务，它支持GPT3.5和GPT-4。它通过将问题拆解，并调用外部资源，提高了GPT的工作能力。在其调教下，GPT-4回答的准确率从68%提高到了85%。
经过调教之后，我们也用倒拔垂杨柳的问题进行了测试，其中包括诸葛亮、孙悟空和林黛玉三个选项。需要说明的是，由于没有GPT-4的API，测试是按照开发者介绍的方法手工完成的。当然了，个例并不能说明它的表现，还是要用数据集测试一下。
开发者使用了MMLU数据集分别对调教前后的GPT-4进行了测试。结果显示，未经调教的版本只答对了68%，而调教后的版本答对了85%。顺便提一句，真人专家在测试中的平均成绩是89.8%。
数学方面同样使用MMLU数据集进行测试，并选择了15个大学难度的问题。虽然准确率只有60%，但也是及格，而且比原版GPT40%已经好了太多。
SmartGPT中的环节形象地被比作职场中的角色：“甲方”为用户，“经理”处理高级子任务，“老板”制定计划，“员工”编写伪代码，而“小黄人”执行伪代码并优化LUA脚本运行。此前有人发现，在输入给GPT指令中加入“let’s think step by step”可以提高回复准确率。此外,GPT具有回溯能力，可以发现并指出自己此前回答中的错误，这两个特性为SmartGpt提供重要支撑。
Smartgpt工作流程图展示了一系列处理步骤：首先接收用户指令，然后添加类似表述，将处理好的指令传至API获取不同答案，再发送要求其回溯答案并选择最优解最后展示给用户。这一过程受到了三篇学术论文启发，其中包括“链式提示方式”，“动态记忆及让LLM自我回溯”，以及“用对话提高LLM完成度”。
与其他工具相比，如AutoGPt等，其优势在于形成逻辑链条，使得推理能力更强实用性上，由于组成独立子模块，可以任意排列、组合和删改配置过程简单。不过由于刚推出不久，有待考证稳定性不足且消耗环境资源更多。在项目推出后，有网友表示低估了gpt潜力，即使OpenAI自己也不例外。你期待gpt未来的表现吗？
目前暂无开箱可用的版本，但有兴趣读者可根据项目页面上的指示体验：
项目地址：https://github.com/Cormanz/smartgpt
涉及到的论文：
[1]. https://arxiv.org/abs/2305.02897
[2]. https://arxiv.org/abs/2303.11366
[3]. https://arxiv.org/abs/2303.17071
参考链接：
[1]. https://www.youtube.com/watch?v=wVzuvf9D9BU
[2]. https://www.reddit.com/r/singularity/comments/13axo1r/gpt_4_is_smarter_than_you_think_introducing/
— 完 —
