2025-01-15 数码 0
据外媒MSPoweruser报道,GPT代表了一个具有前瞻性的语言模型系统,由Alec Radford所创,2018年由埃隆·马斯克的OpenAI实验室发布。该系统采用了一种独特的生成式语言模型(两个神经网络通过竞争相互完善),通过对各种书面材料集和长篇连载文本进行预训练,可以获取世界知识并处理复杂的长程依赖关系。
GPT-2于2019年2月宣布,它是一个无监督的转化语言模型,在800万份文档上进行了训练,这些文档共计40GB,来源于Reddit用户提交分享的文章。然而,埃隆·马斯克并不愿意公开此技术,因为他担心它可能被用于向社交媒体发送假新闻。
2020年5月,OpenAI推出了GPT-3,该模型包含比GPT-2多两个数量级参数(1750亿个参数与15亿个参数相比),在功能上也实现了巨大提升。
只要给予任何提示文字,GPT-3都能返回一段完成的文本,以匹配用户提供的模式。用户可以通过展示几个希望其模仿的手法,就能获得一篇完整的小说或故事。这一点可以从下面的完全由GPT-3编写的内容中看出:
Jordan Singer还开发了一款Figma插件,让人们能够使用纯文字描述来创建应用程序。
其他潜在应用包括作为搜索引擎或智者,其作用甚至可扩展到解释和深入探讨复杂概念。
尽管这种方法似乎可能直接导致一种像人类一样理解、推理和对话能力的人工智能,但OpenAI警告称,他们可能遇到了根本性的扩展挑战:需要数千petaflop/s每天计算量,而完整版GPT-2仅需几十petaflop/s每天。
对于想要了解更多关于GPT-3信息的人们,可在GitHub上进一步查阅相关资料。
下一篇:宠爱反差镜头下的可爱与强悍共存