2024-12-03 手机 0
华为徐直军担任科技部副部长：数据驱动新时代发展
虽然GPT-3尚未开源，但已有人模仿其模型。比如，慕尼黑工业大学的Connor Leahy通过200小时、6000元人民币复现了GPT-2。这表明训练同等规模的模型是可行的。然而，目前作者们仍在探索解决硬件问题的具体方案。如果他们将来成功训练出类似GPT-3大小的模型，他们计划首先向谷歌请求免费资源；如果无法实现，那就再考虑其他方案。
使用TPU进行训练需要注册谷歌云平台、创建存储空间，并设置虚拟机，将模型放到TPU上进行训练。而对于拥有足够强大GPU硬件的人来说，可以直接在本地进行训练，不需要配置谷歌云。此外，还可以利用谷歌Colab，它提供免费TPU-V8S处理器，足以用于训练1.5B参数版本的GPT-XL。只需指定硬件名称和数量，就可以开始培训。
尽管有网友对此持怀疑态度认为这仅是一个自动化团队，只会依赖于搜索引擎，没有能力撰写最新新闻事件报道。但也有观点认为，即使是“几百个只会用搜索引擎干活”的团队，在快速给出答案方面仍然有价值，因为它们能高效筛选大量零碎信息中的最佳解。
值得注意的是，GPT-Neo系列项目已经完全开源，对感兴趣的小伙伴而言，现在就是行动起来的时候：
项目地址：https://github.com/EleutherAI/gpt-neo
参考链接：https://www.eleuther.ai/gpt-neo, https://news.ycombinator.com/item?id=25819803
— 完 —
