2024-12-03 手机 0
在此背景下，一些研究者已经开始尝试复现GPT系列的模型。例如，慕尼黑工业大学的Connor Leahy通过200个小时和6000人民币的努力成功复现了GPT-2。这表明理论上是可以训练出类似于GPT-3大小的模型。但实际上，目前面临的一个主要挑战是硬件问题。为了解决这个问题，一些研究者提出了使用谷歌云平台上的TPU来进行训练。
使用TPU进行训练需要先注册一个谷歌云平台账号，然后创建存储空间，并设置虚拟机将模型放到TPU上进行训练。而如果你的GPU硬件条件足够良好，也可以选择直接在本地环境中进行训练，这样就不需要设置一系列的谷歌云配置。此外，还有一种方法是在谷歌Colab中使用免费提供的TPU-V8S处理器来进行训练，这对于小规模项目来说是一个很好的选择。
尽管如此，有一些人对这项工作持怀疑态度，他们认为虽然复现这一项目有其趣味性，但它还远未达到真正具有意义应用的地步。然而，对于那些需要快速获取信息并从大量零碎信息中筛选出最佳答案的人来说，即使只是简单地利用搜索引擎也能带来巨大的效率提升，因此这一项目仍然具有一定的价值。
现在，所有相关项目和代码都已被开源，如果你对这些技术感兴趣或者想要亲手体验，可以访问以下链接获取详细信息：
https://github.com/EleutherAI/gpt-neo
https://www.eleuther.ai/gpt-neo
https://news.ycombinator.com/item?id=25819803
— 完 —
