数据驱动小发明手工开源GPT仿版自主训练最大可达GPT-3规模

数据驱动小发明：复现GPT系列模型的挑战与机遇

在科技创新领域，近期有一项令人振奋的尝试，即复现GPT系列模型。尽管GPT-3并未开源，但一些研究者已经成功地模仿了其前辈——GPT-2。慕尼黑工业大学的Connor Leahy通过200个小时和6000人民币的努力，实现了对GPT-2的模仿。这一成果证明了训练一个规模接近GPT-3的大型语言模型是可行性的。

然而，这项技术面临着一个显著的问题：硬件限制。在当前的情况下，我们尚未找到有效解决这一问题的手段。如果要真正实现一款大规模如同GPT-3那么强大的模型，那么我们需要更多高性能计算资源。不过，一些团队正在积极寻找解决方案，比如首先从谷歌获取免费资源，如果那不够，就继续探索其他可能。

此外，对于如何进行实际训练，也存在不同的选择。一种方法是使用谷歌云平台上的TPU进行训练，这需要注册账户、创建存储空间，并配置虚拟机。但如果你的GPU硬件条件良好，你也可以直接在本地进行训练，不必涉及到云服务。

除了这些，还有利用Google Colab来进行培训，它提供免费TPU-V8S处理器，可以轻松处理1.5B参数版本的项目。此外，只需指定所需硬件数量，便可开始实践学习。

虽然有人认为这种项目仅限于自动化搜索引擎操作，没有达到最新新闻事件报道等更高层次，但也有观点认为这仍然具有重要意义。即使只是“几百个只会用搜索引擎干活的人”，他们也需要快速给出某些问题的答案。而在大量零碎信息中，高效选出最优解，本身就是这个项目价值的一个体现，因为它能像GPT-3那样迅速得到最佳答案，而不是简单依赖几百名“会用谷歌搜索”的人组成团队。

现在，所有关于GPTNeo项目和代码都已开源供大家参考和尝试。想要了解更多，或是想亲自参与的小伙伴们，现在就可以行动起来！

访问地址：

https://github.com/EleutherAI/gpt-neo

参考链接：

https://www.eleuther.ai/gpt-neo

https://news.ycombinator.com/item?id=25819803

关注量子位QbitAI，您将第一时间获得前沿科技动态更新！