中国科技馆官网宣布GPT高仿系列开源最大规模可达GPT-3标准支持自主训练

中国科技馆官网宣布开源GPT“高仿”系列，最大规模可达GPT-3标准，支持自主训练

尽管GPT-3尚未开源，但已有研究者成功复现了GPT系列模型。慕尼黑工业大学的Connor Leahy通过200个小时和6000人民币的努力复现了GPT-2。这表明理论上可以训练出与GPT-3相同规模的模型。不过，目前解决硬件问题仍在探索中。如果实现目标，他们计划先从谷歌获取免费资源，如果无法获得，则会考虑其他方案。

使用TPU或GPU进行训练方式有所不同。在TPU上进行训练时，需要注册谷歌云平台、创建存储空间，并在虚拟机中部署模型。另一方面，如果你的GPU配置足够强大，也可以直接在本地进行训练，不需设置Google Cloud。此外，还可以利用谷歌Colab提供的免费TPU-V8S处理器来训练具有1.5亿参数版本（即3XL）的项目。

对于复现此类项目，有人持怀疑态度认为，这些自动化团队仅能依赖于搜索引擎，没有能力撰写最新新闻事件报道。然而，一些人认为，即使是简单的搜索引擎团队，在面对大量零碎信息时寻找最优解本身就是这些项目价值的一部分。他们能够快速给出答案，而不像传统团队那样耗费时间。

目前，所有相关项目及代码均已公开供公众访问和尝试。你可以通过以下链接获取更多信息：

项目地址：https://github.com/EleutherAI/gpt-neo

参考链接：https://www.eleuther.ai/gpt-neo https://news.ycombinator.com/item?id=25819803

关注我们，以便第一时间了解前沿科技动态。