2024-12-03 手机 0
萧箫 发自 凹非寺量子位 报道 公众号 QbitAI
尽管GPT-3尚未开源，但已有研究者成功复刻了其前身。慕尼黑工业大学的Connor Leahy仅需200个小时和6000RMB，便复现了GPT-2。这表明理论上是可行的训练一个相似大小的模型。但目前硬件解决方案仍在探索中。若能实现，则首选免费资源，如谷歌提供的服务；如果不够，计划进一步考虑。
在TPU或GPU上进行训练方式有所不同。使用TPU时，需要注册谷歌云平台、创建存储空间并设置虚拟机，将模型放到TPU上进行训练。而直接使用GPU也是一种选择，不必设立额外环境。此外，还可以利用谷歌Colab来进行项目训练，它提供免费TPU-V8S处理器，足以用于1.5B参数版本。
接着指定硬件名称及数量，就能开始模型训练。一部分人对此持乐观态度，但另一些网友认为，即使是自动化团队，只会依赖搜索引擎，其应用价值有限，因为无法持续更新数据以适应最新事件。
然而，也有人认为，即便如此，这项技术仍具有重要意义。在大量信息中快速筛选最优解本身就是这些项目价值的一部分。实际操作中，即便只有几百名只会使用搜索引擎的人组成的团队，他们同样需要迅速给出问题答案。
截至目前,GPT-Neo系列所有项目与代码均已开源，对于想尝试或感兴趣的小伙伴们，现在就可以行动起来：
访问地址：https://github.com/EleutherAI/gpt-neo
参考链接：https://www.eleuther.ai/gpt-neo https://news.ycombinator.com/item?id=25819803
— 完 —
