2024-12-03 手机 0
萧箫，凹非寺量子位报导
虽然GPT-3未曾开源，但已有人模仿其模型。
慕尼黑工业大学的Connor Leahy仅需200小时、6000元人民币便复现了GPT-2。
因此，理论上可行训练一模一样的模型，只是硬件问题尚待解决。
若能实现，将首选谷歌提供的免费资源；如无，则再探其他途径。
在TPU或GPU上训练方法有所不同。TPU则需要注册谷歌云平台、创建存储空间及虚拟机，然后将模型放至TPU进行训练。而GPU则可以直接进行训练，无需配置多余步骤。
此外，还可使用谷歌Colab来训练项目，其提供免费TPU-V8S处理器，可轻松培训1.5B参数版本的GPT-Neo 3XL。
在指定硬件名称和数量后，便可开始模型训练过程。不过，对于复现这一项目，有人持怀疑态度称其无法生成最新新闻事件报道，因为无法持续更新数据集。
但也有人认为，即使只是搜索引擎自动化团队，他们仍需要快速回答问题。如何从大量信息中高效选出最佳解，是复现项目价值的一部分。因为即便是数百名只会搜索的人组成团队，也难以像真正的人工智能那样迅速给出答案。
目前，所有相关项目与代码均已开放来源供小伙伴尝试或感兴趣者参考访问链接：
https://github.com/EleutherAI/gpt-neo
https://www.eleuther.ai/gpt-neo
https://news.ycombinator.com/item?id=25819803
— 完 —
关注我们获取更多前沿科技动态
