2024-12-12 科技 0
克雷西，发自凹非寺
量子位 公众号 QbitAI
这个GitHub新项目，将GPT的工作能力大幅提升。它能让ChatGPT完成复杂任务，支持GPT3.5和GPT-4。在调教下，GPT-4回答准确率从68%提高至85%。我们用倒拔垂杨柳的问题测试，它提供了诸葛亮、孙悟空和林黛玉三个选项。
需要说明的是，由于没有GPT-4的API，我们手工模拟测试过程。这不代表其总体表现，只是初步验证。开发者使用MMLU数据集对调教前后的GPT-4进行了测试。结果显示未经调教的版本只答对68%，而调教后版本答对85%。
数学方面同样使用MMLU数据集进行测试，选择15个大学难度问题。虽然准确率只有60%，但比原版GPT的40%有显著进步。
开发者将SmartGPT中的环节形象地比作职场角色：用户是“甲方”，拆分任务给“经理”；经理再次拆分并分发给“老板”；老板分配给“员工”，员工编写伪代码交由小黄人执行，小黄人优化成LUA脚本运行。
作为用户，你只需像普通输入一样提出问题，而不必额外指令。SmartGPT会帮你把问题拆分，并按照步骤提交给GPT。此前有人发现在输入中加入"let’s think step by step"可以提高回复准确率。此外，SmartGpt具有回溯能力，可以发现并指出错误答案。
以上两个特性为Smartgpt工作提供重要支撑。在用户输入完指令后，Smartgpt处理拆分，并添加类似表述，再传至API多次获取答案，然后发送要求回溯并选择最优解最后展示最佳答案于用户上述步骤受到了三篇学术论文启发（图中白框）。
与其他工具相比，智能化自动提示AutoGPt等好在其工作原理形成逻辑链条因此拥有更强大的推理能力实用性方面由独立子模块组成可任意排列组合删改配置过程简单不过稳定性待考证内存优化不足消耗资源更多项目地址https://github.com/Cormanz/smartgpt涉及论文[1]. https://arxiv.org/abs/2305.02897[2]. https://arxiv.org/abs/2303.11366[3]. https://arxiv.org/abs/2303.17071参考链接[1]. https://www.youtube.com/watch?v=wVzuvf9D9BU[2]. https://www.reddit.com/r/singularity/comments/13axo1r/gpt_4_is_smarter_than_you_think_introducing/
— 完 —
