2024-12-03 手机 0
数据驱动：慕尼黑工业大学学者复现GPT-2，探索训练GPT-3模型的可能性
在GPT-3尚未开源的情况下，一些研究人员已经尝试了复制该系列模型。例如，慕尼黑工业大学的Connor Leahy成功地在200个小时和6000人民币的投资下复现了GPT-2。这表明理论上是可行的将类似的规模大型语言模型进行自主训练。然而，当前面临的问题主要集中在硬件方面，这些挑战仍然需要进一步探讨解决方案。
如果未来能够开发出与GPT-3同等规模的大型语言模型，那么可能会首先寻求谷歌提供更多免费资源作为支持。如果这些资源不足够，又或许可以考虑其他途径。此外，对于使用TPU和GPU进行训练，有着不同的操作步骤。通过谷歌云平台注册、创建存储空间以及设置虚拟机来使用TPU进行训练是一个选项；而对于拥有足够高性能GPU的人来说，可以选择直接在本地环境中进行训练，不需要配置Google云服务。
此外，还有利用谷歌Colab这样的免费服务来实现这一点，它提供TPU-V8S处理器，即使用于更大的1.5B参数版本（即GPT 3XL）的模型，也能轻松完成任务。而要开始这项工作，只需指定所需硬件名称及数量即可。
尽管如此，有人对这种项目的复现持保留态度，他们认为这是由成百上千名只会运用搜索引擎自动化团队成员组成，而无法创作最新新闻事件报道，因为其训练数据难以持续更新。不过也有观点认为，即便是“几百个只会用搜索引擎干活”的团队，他们也需要快速回答问题，从大量零碎信息中高效筛选最优解，这也是GPT-X项目价值的一个体现。
现在，所有相关项目和代码已被开放给公众。对于想尝试或对这个项目感兴趣的小伙伴们，现在就是行动起来的时候。
访问地址：https://github.com/EleutherAI/gpt-neo
参考链接：https://www.eleuther.ai/gpt-neo https://news.ycombinator.com/item?id=25819803
