挖掘GPT的芯片技术隐藏实力让自然界也能感受到它的力量

克雷西，发自凹非寺

量子位 公众号 QbitAI

这个GitHub新项目，将让ChatGPT在复杂任务上大放异彩。它支持GPT3.5和GPT-4，不仅提高了它们的工作能力，还能让它们更准确地回答问题。在经过调教后，GPT-4的回答准确率从68%提升到了85%。虽然开发者提到没有直接使用6升的，但也取得了显著进步。

我们还测试了用倒拔垂杨柳的问题，并提供了三个选项：诸葛亮、孙悟空和林黛玉。由于无法获取到GPT-4的API，所以测试是基于开发者介绍的手工完成的。不过，这个例子不能代表其总体表现，我们需要通过数据集进行更多测试。

开发者使用MMLU数据集对调教前后的GPT-4进行了测试。结果显示，未经调教版本只答对68%，而经过调教后的版本答对85%。与此同时，由真人专家在同样的测试中的平均成绩为89.8%。

数学方面，也使用MMLU数据集进行了15个大学难度的问题的测试，尽管准确率只有60%，但比原版GPT高出许多。这就像将SmartGPT中的环节形象化，比喻成职场中的一系列角色：

“甲方”：SmartGPT用户。

“经理”：将任务拆分并汇报给“老板”。

“老板”：制定计划并分发给“员工”。

“员工”：编写伪代码并交由“小黄人执行”。

作为用户，只需输入问题，而不需要额外指令。SmartGPT会帮助用户把问题拆分，然后按照步骤提交给GPT。此前有人发现，在输入指令中加入“我来一步一步说”的表述可以提高回复准确率。此外，SmartGpt具有回溯能力，可以发现并指出自己之前回答中的错误。

以上两个特性为Smartgpt工作提供重要支撑。在用户输入完指令后，它会处理拆分，并添加类似表述，然后将处理好的指令传至API，并重复多次获取不同的答案，最终展示最优解给用户。

这些步骤受到了三篇学术论文启发，这些论文分别讨论如何通过链式提示方式、动态记忆及LLM自我回溯，以及如何通过对话提高LLM完成度。而与其他工具相比，如AutoGPt等，它们都可以优化GPt，但Smartgpt有着更强大的推理能力和实用性，因为它能够形成逻辑链条，因此拥有更强大的推理能力。此外，无论对于用户还是开发人员，其配置过程都更加简单。但是，由于项目刚刚推出，因此稳定性还有待考证，在内存优化方面也有所欠缺，同时消耗环境资源也更多。

在项目发布之后，有网友表示低估了GPt的潜力，即使包括OpenAI本身也是如此。你期待GPt未来的表现吗？目前暂无开箱可用的版本，需要读者根据项目页面上的指导在Linux环境下搭建。如果你具备一定手艺，可以体验一下：

项目地址：https://github.com/Cormanz/smartgpt

相关论文：

[1] https://arxiv.org/abs/2305.02897

[2] https://arxiv.org/abs/2303.11366

[3] https://arxiv.org/abs/2303.17071

参考链接：

[1] https://www.youtube.com/watch?v=wVzuvf9D9BU

[2] https://www.reddit.com/r/singularity/comments/13axo1r/gpt_4_is_smarter_than_you_think_introducing/

— 完 —