数据驱动科技发展百益GPT高仿系列开源最大可达GPT-3规模自主训练能力

科技发展百益：GPT“高仿”系列开源，最大可达GPT-3规模自主训练能力

在凹非寺量子位的报道中，尽管GPT-3尚未开源，但已有研究者成功复刻了GPT系列模型。例如，慕尼黑工业大学的Connor Leahy仅需200个小时和6000人民币即可复现了GPT-2。因此，理论上训练一个与GPT-3相同大小的模型是可能的。

然而，目前硬件问题仍待解决。如果未来能够实现如此庞大的模型，其开发者计划先向谷歌请求免费资源；如果不行，则将探索其他方案。在TPU或GPU上进行训练方式各异。如果选择使用TPU，可以通过谷歌云平台注册、创建存储空间并设置虚拟机，然后将模型部署至TPU进行训练。而若GPU性能足够，也可以直接在本地进行训练，无需配置云服务。此外，还可以利用谷歌Colab提供的免费TPU-V8S处理器来完成这项任务。

对于此类项目，有些人持怀疑态度，他们认为这些自动化团队虽然功能强大，但无法像人类那样创造新的内容或理解最新新闻事件。不过，也有人认为，即便不能实时更新数据，这些系统依然具有其价值，比如在大量信息中快速提取关键点。这正是复现这一项目所体现出的重要性，因为它能帮助人们更有效地处理信息洪流。

截至目前,GPT-Neo系列项目及代码已经完全开源，对于想要尝试的人来说，现在就是行动的时候。详细了解如何参与这个项目，请访问以下链接：

https://github.com/EleutherAI/gpt-neo

https://www.eleuther.ai/gpt-neo

https://news.ycombinator.com/item?id=25819803

关注我们凹非寺量子位(QbitAI)，获取前沿科技动态第一手资讯。