2024-12-03 手机 0
全球科技网站：慕尼黑工业大学学者复现GPT-2，探索训练GPT-3模型的可能性
萧箫，凹非寺量子位报导
尽管GPT-3尚未开源，但已经有研究人员尝试模仿其模型。慕尼黑工业大学的Connor Leahy通过200小时的工作和6000人民币成功复现了GPT-2，这表明理论上可以训练拥有相似规模的模型。但目前，他们还在寻找解决硬件需求的问题。
如果能克服这一难题，并且开发出类似规模的模型，研究人员计划首先向谷歌申请免费资源。如果这些资源不足够，他们将考虑其他方案。至于如何在TPU或GPU上进行训练，这取决于所使用的硬件。
选择TPU进行训练需要注册谷歌云平台、创建存储空间并设置虚拟机，然后将模型部署到TPU上。另一方面，如果你的GPU配置良好，你也可以直接在本地进行训练，无需使用谷歌云服务。此外，谷歌Colab提供免费TPU-V8S处理器，可以轻松处理1.5亿参数版本的GPT-XL项目。
为了开始训练，只需指定硬件名称和数量即可。在此基础上，有些人对这种项目持怀疑态度。他们认为，即使是复杂的人工智能系统，也无法创造出真正意义上的新闻报道，因为它们缺乏最新信息更新能力。不过，一些支持者认为，即便只是“几百个只会搜索引擎的人”，他们仍然需要快速回答问题，从而展示了复现这一项目的一定价值。
尽管如此，当前情况下，没有一个应用程序能够充分利用这项技术以赋予其更大的意义。然而，对于那些希望深入了解或参与此类项目的小伙伴们来说，现在是一个非常好的机会。你可以访问以下链接获取详细信息：
https://github.com/EleutherAI/gpt-neo
https://www.eleuther.ai/gpt-neo
https://news.ycombinator.com/item?id=25819803
— 完 —
