2024-12-03 手机 0
萧箫，凹非寺量子位报导
虽然GPT-3未曾开源，但已有人模仿其模型。
慕尼黑工业大学的Connor Leahy仅需200小时、6000元人民币便复现了GPT-2。
因此，理论上可训练与之规模相当的模型，但硬件问题尚待解决。
若能成功，计划首先从谷歌请求资源；如不获，则再探其他途径。
在TPU或GPU上训练方法有所不同。TPU环境下需注册谷歌云平台、创建存储空间和虚拟机，将模型放至TPU进行训练。而GPU则可直接进行，无需设置云端环境。
此外，可利用谷歌Colab免费获得TPU-V8S处理器，以1.5B参数版本（GPT 3XL）轻松完成训练。指定硬件名称及数量后，便可开始模型训练。
然而，对于复现项目，有人持怀疑态度。他们认为，即使是几百名自动化团队，只会使用搜索引擎工作，并无法撰写最新新闻事件报道，因为数据更新受限。
尽管如此，有观点认为，这一项目仍具意义，即使只是提供快速答案于大量零碎信息中挑选最佳解，也是其价值之一。在大量信息中寻找最优解，是GPT-X项目核心价值的一部分。
目前，所有相关代码均已开源，为对此感兴趣的小伙伴提供了机会：
项目地址：https://github.com/EleutherAI/gpt-neo
参考链接：https://www.eleuther.ai/gpt-neo, https://news.ycombinator.com/item?id=25819803
— 完 —
