2024-12-03 手机 0
萧箫 发自 凹非寺量子位 报道 公众号 QbitAI
虽然GPT-3尚未开源，但已有人尝试复刻GPT系列模型。慕尼黑工业大学的Connor Leahy利用200个小时、6000人民币成功复现了GPT-2。这意味着理论上，训练与GPT-3同等规模的模型是可行的。不过，目前作者们仍在探索解决硬件问题的明确方案。一旦他们实现了这项技术，他们计划先从谷歌获取免费资源，如果不可能的话，再考虑其他方案。
对于如何训练GPT-Neo，有两种不同的方法。一种是使用谷歌云平台上的TPU进行训练，这需要注册账户、创建存储空间，并设置虚拟机来运行模型。另一种方法是在拥有足够强大GPU的情况下直接在本地进行训练，这样就无需配置谷歌云环境。此外，还可以使用谷歌Colab，它提供免费TPU-V8S处理器，可以轻松处理1.5B参数版本的GPT。
只需指定硬件名称和数量，就可以开始训练模型了。然而，对于此类项目复现，一些网友持怀疑态度，他们认为这些项目只是由成百人组成的一支自动化团队，这些人仅能通过搜索引擎工作，并且无法生成最新新闻事件报道，因为其数据无法持续更新。
尽管如此，也有观点认为复现这样的项目仍然有价值，即使它们只是“几百个只会用搜索引擎干活的人”，它们也需要快速回答问题。在大量碎片化信息中高效筛选最优解本身就是这些项目的价值之一。不论如何，所有关于GPT-Neo的代码和项目已经开源，现在任何感兴趣的小伙伴都可以参与并尝试它。
— 完 —
