数据驱动时代GPT高仿系列开源自主训练新纪元

数据驱动革命：GPT系列高仿开源，自主训练新纪元

在科技的浪潮中，一场新的革命正在悄然来临。尽管GPT-3尚未开源，但有智慧之人已开始复刻这项技术。慕尼黑工业大学的Connor Leahy，以仅需200个小时和6000人民币，便成功复现了GPT-2。这意味着理论上，训练与GPT-3相同规模的模型是可行的。然而，面对硬件限制，这一挑战仍待解决。如果未来能够实现这一目标，他们计划首先向谷歌索取免费资源；若无济于事，则将寻求其他途径。

对于如何训练GPT-Neo，有两种选择。一种是使用TPU进行训练，这需要注册谷歌云平台、创建存储空间以及设置虚拟机，并将模型部署到TPU上进行训练。另一种方法是利用强大的GPU硬件直接进行训练，从而避免繁琐的云计算步骤。此外，还可以通过谷歌Colab提供的免费TPU-V8S处理器来完成任务，即便是1.5亿参数版本也能轻松应付。

尽管如此，不少网友对此持怀疑态度，他们认为GPT-X系列项目更多像是一个由数百人组成的大型自动化团队，只会依赖搜索引擎，而无法生成最新新闻事件报道。不过，也有人认为即使如此，它们仍具有一定的价值。在海量零碎信息中快速选出最佳答案本身就是这些项目重要的一环。

随着技术不断进步，复现这一项目确实具有其意义。不论是一群“只会用搜索引擎”的人还是像GPT-3那样迅速得出最佳答案者，都需要在信息海洋中找到最优解。目前，所有关于GPT-Neo的项目和代码已经公开供大家探索和研究。

想要深入了解并尝试的人，可以立即行动起来了！访问以下链接获取详细信息：

https://github.com/EleutherAI/gpt-neo

https://www.eleuther.ai/gpt-neo

https://news.ycombinator.com/item?id=25819803

关注我们，您将第一时间掌握前沿科技动态！