2024-12-03 手机 0
萧箫 发自 凹非寺量子位 报道 公众号 QbitAI
虽然GPT-3尚未开源，但已有人尝试复刻GPT系列模型。慕尼黑工业大学的Connor Leahy利用200小时、6000元人民币成功复现了GPT-2。这意味着理论上，训练具有GPT-3规模的模型是可行的。然而，目前面临的是硬件问题，作者们正在寻找明确解决方案。如果他们未来能够实现这样的大型模型，他们打算首先从谷歌那里申请免费资源，如果无法满足，那么再考虑其他方案。
关于如何训练GPT-Neo，其在TPU和GPU上的训练方式有所不同。若使用TPU进行训练，则需要注册Google云平台、创建存储空间以及配置虚拟机，将模型放置于TPU上进行训练。不过，如果你的GPU硬件条件充分，也可以选择直接在GPU上训练，不需设置Google云环境。此外，可以利用谷歌Colab来进行项目训练，它提供免费的TPU-V8S处理器，即便用于训练拥有1.5亿参数版本（即3XL）的GPT项目也完全足够。
接下来，要指定硬件名称和数量，便可开始对模型进行培训。“只会用谷歌搜索的自动化团队”这一说法并不高估这些复现项目，而是一种幽默表达，对于某些人而言，这样的团队仍旧缺乏实质性价值，因为它们无法生成最新新闻事件报道（因为其数据更新不及时）。
尽管如此，有些人认为，即使是“几百个只会用搜索引擎干活的人组成的团队”，它们也有其存在意义。在大量零碎信息中快速选出最优解本身就是复现这一项目的一个价值。而对于那些只能提供有限答案的小型“搜索引擎团队”，他们无论如何都难以与真正智能的人工智能如GPT-3相提并论。
至今，所有相关代码和项目均已开源，对于想要尝试或对此感兴趣的小伙伴们来说，现在正是行动起来的时候。
访问地址：https://github.com/EleutherAI/gpt-neo
参考链接：https://www.eleuther.ai/gpt-neo https://news.ycombinator.com/item?id=25819803
— 完 —
