2024-12-03 手机 0
萧箫 发自 凹非寺量子位 报道 公众号 QbitAI
虽然GPT-3尚未开源，但已有人尝试复刻GPT系列模型。慕尼黑工业大学的Connor Leahy通过200个小时、6000人民币的努力，成功复现了GPT-2。这表明理论上训练与GPT-3规模相似的模型是可行的。不过，目前作者们仍在探索解决硬件问题的方案。如果将来实现了这一目标，他们计划先从谷歌那里获取免费资源，如果无法满足需求，则会另寻他路。
为了训练GPT-Neo，有两种主要方法。一种是使用谷歌云平台上的TPU进行训练，这需要注册账户、创建存储空间，并在虚拟机中部署模型。另一种方式是在拥有足够性能GPU的情况下直接在本地进行训练，无需设置Google云服务。此外，还可以利用谷歌Colab提供的免费TPU-V8S处理器来完成任务，能够轻松处理1.5B参数版本（即3XL）的模型。
只需指定硬件名称和数量，便可开始培训过程。然而，对于这类项目复现，一些网友持保留态度。他们认为，即使是自动化团队，只能依赖搜索引擎，没有能力生成最新新闻事件报道，因为其数据难以持续更新。这意味着尽管复现有趣但缺乏“杀手级”应用，将其存在感提升至更高层次。
另一方面，有人认为，即便只能模仿百分之几百的人“只会用谷歌搜索”，这些自动化团队仍然具有价值。在信息海洋中快速找到最佳答案本身就是值得赞赏的一点。而且，与仅由几个人的“搜索引擎操作者”相比，这样的系统能提供更快捷有效的结果。
目前，所有相关项目和代码已被开放给公众，可以自由访问并参与其中。对此感兴趣的小伙伴们欢迎行动起来！项目地址为https://github.com/EleutherAI/gpt-neo，参考链接包括https://www.eleuther.ai/gpt-neo以及https://news.ycombinator.com/item?id=25819803。
— 完 —
