2024-12-12 科技 0
克雷西，发自凹非寺
量子位 公众号 QbitAI
这个GitHub新项目，将让ChatGPT在复杂任务上大放异彩，支持GPT3.5和GPT-4。它通过问题的拆解，并调用外部资源，显著增强了GPT的工作能力。在其调教下，GPT-4回答的准确率从68%提升至85%。
经过调教后，这项技术虽然不直接使用6升引擎，但取得了显著进步。我们还用“倒拔垂杨柳”的问题进行了测试，其中提供了诸葛亮、孙悟空和林黛玉三个选项。
需要指出的是，由于没有获取到真正的GPT-4 API，所以测试是按照开发者的介绍手动完成的。不过，我们也提出了一个疑问：个例是否能说明它的表现？还是需要通过数据集来进行更全面的测试？
开发者使用MMLU数据集，对调教前后的GPT-4进行了分别测试。结果显示，没有经过训练前的版本只答对了68%，而经过训练后的版本答对率提高到了85%。与此同时，在数学方面，也使用MMLU数据集选择15个大学难度的问题进行测试，尽管准确率仅有60%，但比原版GPT高出很多，从40%提升至60%。
这款工具中的Smart GPT功能被形象地比喻为职场中的角色链条：“甲方”代表用户，“经理”负责将任务分解并汇报给“老板”，“员工”则是编写伪代码并交由执行者处理，而“小黄人”则将伪代码优化成LUA脚本并运行。这意味着作为用户，只需像使用普通GPT一样输入问题，而无需额外指导。
此前有人发现，在给出的指令中加入类似“let’s think step by step”的表述，可以显著提高回复准确性。此外,GPT-4拥有回溯能力，可以识别并指出自己之前回答中的错误，这两种特性为Smart Gpt 的工作提供了重要支撑。
在用户输入完指令后，Smart Gpt 会对其进行处理拆分，并添加类似表述，然后将处理好的指令传递至API，并重复多次获取不同的答案。此后，它会向API发送要求其回溯答案并选择最优解的命令，最终展示给用户最佳答案。
这些步骤受到了三篇学术论文启发，其内容涉及链式提示方式、动态记忆及让LLM自我回溯以及用对话提高LLM完成度。而与其他工具相比，如Auto Gpt等，它们同样可以优化性能，但Smart Gpt 在推理能力上的优势使得它更具实用性。此外，由于独立子模块可任意排列组合，以及配置过程简单，便捷性也成为这一项目的一个亮点。但由于项目刚刚推出，因此稳定性和内存优化还有待考证，同时消耗环境资源较多。
在项目发布之后，有网友表示低估了OpenAI及其产品潜力，即便包括OpenAI自身的人士也有这样的看法。那么，你期待未来科技发展带来的惊喜吗？
目前暂未开放智能体验版本，您可以根据以下链接自行搭建：
https://github.com/Cormanz/smartgpt
相关论文如下：
[1]. https://arxiv.org/abs/2305.02897
[2]. https://arxiv.org/abs/2303.11366
[3]. https://arxiv.org/abs/2303.17071
参考链接：
[1]. https://www.youtube.com/watch?v=wVzuvf9D9BU
[2]. https://www.reddit.com/r/singularity/comments/13axo1r/gpt_4_is_smarter_than_you_think_introducing/
— 完 —
