2024-12-03 手机 0
在技术界的热潮中，一项令人瞩目的成就被公布——慕尼黑工业大学的Connor Leahy成功复现了GPT-2模型，这一壮举证明了理论上是可行的，甚至可能实现与GPT-3同等规模的模型。尽管如此，硬件上的挑战仍待解决。
据报道，如果要进行更大规模的项目，比如训练一个接近GPT-3大小的模型，那么软件层面并没有太多限制。而对于如何训练这样的模型，有几种方法可以选择。一种方式是在谷歌云平台上使用TPU来进行训练，这需要注册账户、创建存储空间以及配置虚拟机。但如果你拥有足够好的GPU硬件，也可以直接在本地进行训练，不必依赖云服务。
此外，还有一种免费且方便的方式，即使用谷歌提供的一些免费资源，如Google Colab，它提供了TPU-V8S处理器，可以轻松处理1.5B参数版本的大型语言模型。这使得普通用户也能够参与到这项研究中来，只需指定硬件数量即可开始训练。
尽管有这些可能性，但对此项目复现存在一定争议。一些人认为，即便是复现者，他们也无法像真正的人类那样理解和回应最新新闻事件，因为他们只能基于历史数据学习，而不能实时获取信息。此外，由于无法不断更新其知识库，因此其应用价值受限。不过也有观点认为，即使它们不是最终产品，它们在快速提取大量零碎信息中的优解方面仍然具有价值，并为开发更先进的人工智能奠定基础。
目前，所有相关项目和代码已经公开放出，对于想要深入了解或尝试自己动手的小伙伴来说，现在是一个行动起来的时候。具体详情请访问GitHub上的EleutherAI/gpt-neo仓库，或参考相关链接获取更多信息。
