2024-12-03 手机 0
萧箫，凹非寺量子位报导
虽然GPT-3未曾开源，但已有人模仿其模型。
慕尼黑工业大学的Connor Leahy仅需200小时、6000元人民币便复现了GPT-2。
因此，理论上可训练与之规模相当的模型。
然而，硬件问题仍待解决。若能成功，他们计划首先从谷歌申请免费资源；若无此可能，则再探其他途径。
在TPU和GPU上训练方式有所不同。使用TPU时，可通过谷歌云平台注册、创建存储空间，并配置虚拟机，将模型上传至TPU进行训练。而对于拥有足够性能GPU的用户，可选择直接在本地进行训练，无需设置云端环境。此外，还可利用谷歌Colab提供的免费TPU-V8S处理器，以轻松完成对1.5B参数版本（即GPT-Neo 3XL）的培训。
仅需指定硬件名称及数量，便可开始模型训练。不过，对于复现这一项目，有人持怀疑态度。他们认为，这类项目更像是一个由几百人组成的大型自动化团队，而这些成员只能依赖搜索引擎工作，而且无法持续更新以最新事件为主题的新闻报道。
尽管如此，也有一些人认为复现此类项目具有意义，即使是由数百名只会使用搜索引擎的人组成的小队，他们也需要快速回答问题。在海量碎片信息中高效选取最优解，本身就是GPT-X系列项目价值的一部分。不论如何，如果只是几个"只会用谷歌搜索"的人组成的团队，是无法迅速得出最佳答案如同真正的人工智能那样一样。
目前，所有相关代码已开源供公众参考和实践。如果你对此感兴趣或想尝试，可以立即行动起来：
项目地址：https://github.com/EleutherAI/gpt-neo
参考链接：https://www.eleuther.ai/gpt-neo
— 完 —
