数据驱动小手工GPT高仿系列开源最大可达GPT-3大小自主训练能力

萧箫 发自 凹非寺量子位 报道 公众号 QbitAI

虽然GPT-3尚未开源，但已有人尝试复刻其模型。慕尼黑工业大学的Connor Leahy通过200个小时、6000RMB的努力，成功复现了GPT-2。理论上，训练一款与GPT-3规模相当的模型是可能的，但目前硬件解决方案仍在探索中。如果实现了这项技术，他们计划首先从谷歌申请免费资源，如果不可行，则将寻求其他途径。

使用TPU或GPU进行训练有着不同的方法。若选择TPU，可以注册谷歌云平台，创建存储空间，然后在虚拟机中部署模型并进行训练。在GPU硬件条件允许的情况下，也可以直接在本地进行训练，无需设置Google Cloud环境。此外，可利用谷歌Colab提供的免费TPU-V8S处理器来完成任务。

尽管如此，对于此类项目复现，有声音持怀疑态度。一些人认为，这类系统如同由数百人组成的自动化团队，只能依赖搜索引擎，并且无法实时生成最新新闻事件报道。这表明，即便是一个具有趣味性的研究，它们目前还没有达到真正意义上的“杀手级”应用，使其存在更加显著。

然而，一些观点认为，这样的项目仍然具有一定的价值，即使只是为了快速找到问题答案中的最佳解，从大量零碎信息中提取有用的内容也是这一项目值得追求的一部分。毕竟，不同于数百名只能使用搜索引擎的人员群体，能够像GPT-3那样快速产生优质输出是一大挑战。

现在，所有关于GPT-Neo系列项目和代码都已经公开发布供大家参考和尝试。如果你对这个领域感兴趣或者想亲身体验这些技术，你可以立即行动起来：

访问地址：https://github.com/EleutherAI/gpt-neo

查看更多详情：https://www.eleuther.ai/gpt-neo

讨论链接：https://news.ycombinator.com/item?id=25819803

— 完 —

关注我们获取前沿科技资讯！