2024-12-03 手机 0
数据驱动科技小制作大全最简单
在量子位的关注下，GPT系列模型复现的火焰似乎依旧未熄。尽管GPT-3并未开源，但已有人尝试了“高仿”，其中包括慕尼黑工业大学的Connor Leahy，他成功复现了GPT-2，耗时200个小时、成本6000人民币。这表明理论上训练一个与GPT-3相同大小的模型是可行的。但实际操作中遇到的硬件问题仍然是个挑战。
对于如何训练GPT-Neo，这款模型提供了一些选择。一种方法是在谷歌云平台上使用TPU进行训练。这需要注册账户、创建存储空间以及设置虚拟机，并将模型上传到TPU上进行训练。不过，如果你的GPU性能足够，那么直接在本地进行训练也是一条可行之路。此外，还可以利用谷歌Colab中的免费TPU-V8S处理器来完成这项任务，它足以支持大型参数版本如1.5B参数。
然而，不同的声音也在对这一项目发声。一些人认为，即使复现出类似于自动化团队一样高效的人工智能系统，也存在局限性。例如，它们无法处理最新新闻事件，因为它们没有更新其训练数据。而另一些人则认为，即便如此，这样的项目也有其价值，比如快速从大量信息中提取最优解。
现在，所有相关项目和代码已经公开供大家参考和实践。你可以通过访问GitHub上的EleutherAI/gpt-neo来获取这些资源。如果你对此感兴趣或想亲自尝试，可以立即行动起来。
链接：https://github.com/EleutherAI/gpt-neo
参考链接：https://www.eleuther.ai/gpt-neo, https://news.ycombinator.com/item?id=25819803
