2025-01-15 数码 0
据外媒MSPoweruser报道，GPT代表Generative Pre-training Transformer，是由Alec Radford所创的语言模型，由埃隆·马斯克的OpenAI实验室于2018年发布。它采用了生成式语言模型（两个神经网络通过竞争相互完善），通过对大量书面材料与长篇连载文本的预训练，能够获取世界知识并处理复杂依赖关系。
GPT-2在2019年2月宣布，它是无监督学习的转化语言模型，在800万份文档上进行训练，总计40GB文本来源于Reddit用户分享的文章。然而，埃隆·马斯克最初不愿公开它，因为他担心其可能用于向社交媒体发送虚假信息。
2020年5月，OpenAI推出了GPT-3，这个模型拥有比GPT-2多几个数量级参数（1750亿vs 15亿个参数），显著超越了前代机器人的能力。
给定任何文本提示,GPT-3将返回一个完成后的文本尝试匹配用户提供的模式。用户可以指导它编写文章，只需展示几个希望模仿的情况，它便能提供一篇完整的小说或故事，就像下面完全由GPT-3创作：
Jordan Singer也开发了一个Figma插件，让人们使用纯文字描述来创建应用程序。
其他应用包括作为搜索引擎或智慧的一种体现，即可用来解释和扩展复杂概念。
尽管这种方法似乎会直接导致一种能够像人类一样理解、推理和对话的人工智能，但OpenAI警告称，他们可能遇到了根本性的扩展挑战：GPT-3需要每天几千petaflop/s计算量，而完整的GPT-2仅需几十petaflop/s。
更多关于GPT-3信息可在GitHub上查询。
