2024-12-03 手机 0
萧箫 发自 凹非寺量子位 报道 公众号 QbitAI
尽管GPT-3尚未开源，但已有个体致力于模仿GPT系列模型。例如，慕尼黑工业大学的Connor Leahy耗时200小时、花费6000人民币成功复现了GPT-2。这表明训练规模与GPT-3相当的模型是理论上可行的。然而，目前作者们仍在寻找解决硬件问题的明确方案。如果未来实现了类似规模的模型，他们计划先从谷歌那里申请更多免费资源；若无此可能，则再考虑其他方案。
关于如何训练GPT-Neo，其过程在TPU和GPU上的差异很大。在使用TPU进行训练时，需要注册谷歌云平台、创建存储空间以及设置虚拟机，将模型部署到TPU上进行训练。不过，如果你的GPU配置足够强劲，也可以选择直接在本地环境中训练，不必设置Google Cloud。
此外，还可以利用Google Colab来进行项目训练，它提供免费使用的TPU-V8S处理器，可以轻松支持1.5B参数版本（即GPT 3XL）的模型训练。只需指定硬件名称和数量，便可开始培训。
然而，有些网友对复现这些项目持怀疑态度，他们认为这类系统仅能模仿搜索引擎操作，并且无法创作最新新闻事件报道，因为其数据更新能力有限。这使得复现这些项目看起来缺乏实际意义。但也有观点认为，即便不能达到“杀手级”应用，这些研究依然具有价值，特别是在快速筛选大量碎片化信息中找到最优解方面。
随着技术的发展，我们或许能够看到这样的系统变得更加实用。此刻，对于想要参与其中的小伙伴们来说，现在就可以行动起来尝试这个开放源代码项目：
访问地址：https://github.com/EleutherAI/gpt-neo
参考链接：
https://www.eleuther.ai/gpt-neo
https://news.ycombinator.com/item?id=25819803
— 完 —
