2024-12-03 手机 0
在科技发展的浪潮中，GPT“高仿”系列开源的消息震惊了全行业。据报道，这一系列模型最大可达GPT-3大小，具有自主训练的能力。这不仅意味着复现GPT-X系列项目变得可能，而且也为研究人员和开发者提供了前所未有的机会。
慕尼黑工业大学的Connor Leahy就是一个例子，他用200个小时和6000RMB成功复现了GPT-2。尽管如此，硬件问题仍然是阻碍这一技术实现的大坎。目前，一些研究人员正在寻找明确的解决方案。如果他们能够克服这一障碍，那么训练出真正的大型语言模型将成为可能。
除了使用TPU和GPU进行训练，还有其他方法可以实现目标。谷歌Colab提供免费TPU-V8S处理器，可以轻松训练1.5B参数版本的GPT模型。此外，如果你拥有足够强大的GPU，也可以直接在本地进行训练，不需要设置云平台。
然而，对于此类项目的一些人士持怀疑态度，他们认为这些自动化团队虽然功能强大，但无法胜过真正的人类智能。在新闻事件报道等方面，它们缺乏更新数据的问题使得其应用价值受到质疑。不过也有声音认为，即便是“几百个只会搜索信息干活”的团队，他们也能在快速获取答案方面发挥重要作用。
最后，由EleutherAI推出的GPT-Neo所有项目及代码已经开源，有兴趣的小伙伴可以立即开始尝试。一切都从这里开始：https://github.com/EleutherAI/gpt-neo
量子位 QbitAI · 头条号签约
关注我们，第一时间获知前沿科技动态
