2025-01-15 数码 0
据外媒MSPoweruser报道,GPT代表了前沿的语言模型技术,是由Alec Radford所创造,并于2018年由埃隆·马斯克的OpenAI实验室发布。这种基于生成式预训练变换器(Generative Pre-training Transformer)的模型能够通过对大量书面材料和长篇连载文本进行预训练,获取广泛世界知识并处理复杂的长程依赖关系。
GPT-2在2019年2月宣布,它是一款无监督转化语言模型,在800万份文档上经过了40GB的文本训练,这些数据来源于Reddit用户分享的文章。然而,埃隆·马斯克对其发布持保留态度,因为他担忧它可能被用于向社交网络发送假新闻。
2020年5月,OpenAI推出了GPT-3,这个版本包含参数数量比GPT-2多两个数量级(1750亿参数与15亿参数相比),实现了巨大的提升。在接收任何文本提示后,该模型能够返回一个完成后的文本,以匹配用户提供的模式。用户可以仅需展示几个希望它模仿的情境,就能得到一篇完整的小说或故事。
除了编写文章和故事之外,GPT-3还可应用于创建Figma插件,让人们使用纯文字描述来设计应用程序。此外,它甚至有潜力作为一种搜索引擎或神谕工具,可以帮助理解和扩展复杂概念。不过,由于其计算需求极高——需要每天几千petaflop/s,而相似规模的人类智能只需要几十petaflop/s-day—OpenAI警告称他们可能遇到了基本扩展问题。
对于想要了解更多关于GPT-3及其功能细节的人们,可访问GitHub以获取更详尽信息。
上一篇:老胡十八的奇遇穿越时空的错换人生
下一篇:2022年度光影盛宴获奖作品展览