2024-12-03 手机 0
萧箫 发自 凹非寺量子位 报道 公众号 QbitAI
尽管GPT-3尚未开源，但已有人模仿其模型。慕尼黑工业大学的Connor Leahy仅需200个小时和6000人民币，就复现了GPT-2。这表明理论上可以训练与GPT-3相同规模的模型。不过，目前作者们仍在探索解决硬件问题的具体方案。如果未来成功开发出类似大小的模型，他们计划首先向谷歌申请免费资源；若无效，则再考虑其他方案。
要在TPU或GPU上训练GPT-Neo，其方法有所不同。在使用TPU时，需要注册谷歌云平台、创建存储空间，并设置虚拟机，将模型放到TPU进行训练。另一方面，如果你的GPU性能足够，也可直接在本地设备上进行训练，无需配置Google Cloud。
此外，还可以利用谷歌Colab来进行训练，它提供免费的TPU-V8S处理器，可以轻松处理1.5亿参数版本（即GPT 3XL）的计算。此后，只需指定硬件名称和数量，便可开始模型训练。
然而，对于复现这一项目，一些人持保留态度。他们认为，即使是几百名专家组成的人工智能团队，只能依赖搜索引擎工作，而且无法创作最新新闻事件报道，因为其数据难以持续更新。此研究虽然有趣，但尚未展现出足够显著应用价值，让其存在变得更加重要。
当然，有人也认为复现这样的项目具有意义，即便它们只是由许多只会使用搜索引擎的人员组成，这些人员仍然需要迅速回答问题如何有效地从大量碎片化信息中提取最优解，这正是GPT-X项目价值的一部分。毕竟，即使是数百名“会用谷歌搜索”的专家，他们也无法像真正的人工智能那样快速得出最佳答案。
目前，所有相关项目及代码已经开放给公众。对这些技术感兴趣的小伙伴们，现在就可以行动起来尝试了！
访问链接：https://github.com/EleutherAI/gpt-neo
参考来源：
https://www.eleuther.ai/gpt-neo
https://news.ycombinator.com/item?id=25819803
