2024-12-03 手机 0
萧箫 发自 凹非寺量子位 报道 公众号 QbitAI
尽管GPT-3尚未开源，但已有人模仿其模型。慕尼黑工业大学的Connor Leahy利用200个小时和6000人民币复现了GPT-2。这表明理论上可以训练一个规模与GPT-3相当的模型。然而，目前作者们仍在寻找解决硬件问题的明确方案。如果他们未来成功创建了这样的模型，他们计划先向谷歌申请免费资源，如果失败再考虑其他选项。
关于如何使用TPU或GPU进行训练，有所不同。在TPU上进行训练时，需要注册Google Cloud平台、创建存储空间并设置虚拟机，然后将模型放置于TPU上进行训练。对于拥有足够好GPU硬件的人，也可以选择直接在本地设备上进行培训，不需要设置Google云服务。此外，还可以使用谷歌Colab来执行项目，它提供免费的TPU-V8S处理器，可以轻松支持1.5B参数版本的GPT。
要开始训练，只需指定硬件名称和数量即可。但是，对于复现此类项目，一些网友持怀疑态度。他们认为这些项目就像由几百人组成的自动化团队，只会使用搜索引擎，没有能力撰写最新新闻事件报道，因为无法持续更新数据集。
尽管如此，一些人认为复现这一项目仍然有价值，即使只是“几个只会用搜索引擎工作的小组”，它们也需要快速回答问题。在大量零碎信息中高效选出最佳解，这本身就是复现项目价值的一部分。而且，即便是由几百个仅能运用搜索引擎的人构成的团队，也无法像真正的人工智能那样迅速获得最佳答案。
目前，所有相关代码已被公开发布供人们尝试或对该项目感兴趣者参考。
访问地址：https://github.com/EleutherAI/gpt-neo
参考链接：
— 完 —
