2024-12-12 科技 0
克雷西，发自凹非寺
量子位 公众号 QbitAI
这个GitHub新项目，将改变我们对GPT的认识。它能让ChatGPT完成复杂任务，并且支持GPT3.5和GPT-4。这项技术通过将问题拆解并调用外部资源，不仅提高了GPT的工作能力，而且在调教下显著提升了其回答准确率。在自然环境中，这种技术被用来测试问题，如倒拔垂杨柳的问题，其中提供了诸葛亮、孙悟空和林黛玉三个选项。
需要注意的是，由于没有直接使用到GPT-4的API，我们进行测试是依照开发者的介绍手工完成的。当然，这只是个例子，我们还需要通过数据集进行更全面的测试。开发者使用MMLU数据集，对调教前后的GPT-4进行了测试。结果显示，未经调教的版本只答对68%，而经过调教后答案正确率达到了85%。
此外，在数学方面，同样使用MMLU数据集进行测试，选择了15个大学难度的问题。不过，其准确率仅有60%，但比原版GPT高出许多。此技术可以帮助用户像管理一个团队一样处理问题，将复杂任务分解成多个步骤，然后再交由专家（如小黄人）执行。
SmartGPT工作流程图展示了这一过程：首先，它会接收用户输入，并将其转换为适合机器学习模型处理的问题；然后，它会重复多次获取不同的答案，并最后选择最优解展示给用户。这一过程受到三篇学术论文启发，它们探讨链式提示方式、动态记忆及LLM自我回溯，以及如何通过对话提高LLM完成度。
与其他工具相比，SmartGPT之所以优秀，是因为它能够形成逻辑链条，从而拥有更强大的推理能力。此外，由于其独立模块，可以任意排列组合，也使得配置更加灵活。但由于项目刚刚发布，因此稳定性和内存优化还有待改进。此事引起了一些读者的热烈讨论，他们认为低估了AI潜力甚至包括OpenAI自己。你期待着未来怎样的表现呢？
目前SmartGPT尚未开箱可用，只能在Linux环境下自行搭建。如果你具备一定编程能力，可以根据项目页面指示体验：
项目地址：https://github.com/Cormanz/smartgpt
此外，还有一些参考链接供你深入了解：
[1]. https://www.youtube.com/watch?v=wVzuvf9D9BU
[2]. https://www.reddit.com/r/singularity/comments/13axo1r/gpt_4_is_smarter_than_you_think_introducing/
— 完 —
