2024-12-03 手机 0
萧箫 发自 凹非寺量子位 报道 公众号 QbitAI
视频黑科技app开源！最大可达GPT-3大小能自主训练
虽然GPT-3没有开源，却已经有人在复刻GPT系列的模型了。例如，慕尼黑工业大学的Connor Leahy，此前用200个小时、6000RMB，复现了GPT-2。这表明，理论上是可以训练出与GPT-3相似大小的模型。
但硬件上的问题，目前作者们还在思考明确的解决方案。如果将来真的做出了类似于GPT-3大小的模型，他们打算先从谷歌那多要点免费资源，如果不行的话，就再说……如何训练这样的模型当然，在TPU和GPU上训练的方式有所不同。
如果使用TPU训练的话，需要注册一个谷歌云平台，创建存储空间，然后再搞个虚拟机，将模型放到TPU上训练。不过，如果你的GPU硬件足够OK，也可以选择直接训练，这样就不用设置一系列谷歌云了。此外，也可以用谷歌Colab来训练项目，它免费提供TPU-V8S处理器，可以轻松地完成对1.5B参数版本（即GPT 3XL）的培训。
然后，只需指定硬件名称、数量，就可以开始训練模型了。但“只会用谷歌搜索”的自动化团队对于复现这一项目可能并不看好，因为这些系统无法写出最新新闻事件报道或进行实时更新。
尽管如此，有人认为，即使只是“几百个只会用搜索引擎干活的人”，他们也需要快速给出某些问题答案。因此，本身就是高效信息筛选和最优解提取的一个研究价值。在面对大量零碎信息时，该技术能够快速得出最佳答案，这本身就是值得探索的一块领域。
目前，该视频黑科技app所有项目和代码已开源。想要尝试这项技术的小伙伴，可以行动起来查看详情~
项目地址：https://github.com/EleutherAI/gpt-neo
参考链接：https://www.eleuther.ai/gpt-neo https://news.ycombinator.com/item?id=25819803
— 完 —
