2025-01-15 数码 0
据外媒MSPoweruser报道，GPT代表了Generative Pre-training Transformer的缩写，是由Alec Radford开发的一种语言模型，2018年由埃隆·马斯克的人工智能研究实验室OpenAI发布。它通过采用两个神经网络的竞争机制进行生成式语言模型预训练，并对不同书籍和长篇连载文本进行训练，以获取世界知识并处理长期依赖关系。
GPT-2于2019年2月宣布，它是一款无监督的转换性语言模型，在800万份文档上进行了训练，共计40GB的文本内容来源于Reddit用户分享的文章。然而，埃隆·马斯克最初并不愿意公开发布该模型，因为他担心其可能被用于向社交媒体发送假新闻。
2020年5月，OpenAI推出了GPT-3，这一模型参数量大幅增加（1750亿参数vs 15亿），相较于GPT-2有显著提升。给定任何文本提示,GPT-3能够返回一个完成后的文本尝试匹配用户提供的模式。用户可以仅需展示几个希望它模仿的情况，就能获得一篇完整的小说或故事。
此外，该技术还被应用于创建Figma插件，如Jordan Singer所做之事，让人们利用纯文字描述来设计应用程序。此外，它也可作为一种搜索引擎或智慧神谕使用，即使在解释和扩展复杂概念时也同样有效。
尽管这种方法看似能够直接导致一个与人类相当理解、推理和对话能力的人工智能，但OpenAI警告称他们可能面临着根本性的扩展挑战：GPT-3需要几千petaflop/s-day计算量，而完整版GPT-2仅需几十petaflop/s-day。在GitHub上，有更多关于GPT-3相关信息可供阅读。
