2025-01-15 数码 0
据外媒MSPoweruser报道，GPT代表了Generative Pre-training Transformer的概念，是由Alec Radford所创造的语言模型，2018年由埃隆·马斯克的人工智能研究实验室OpenAI发布。它运用了一种生成式语言模型（两个神经网络通过竞争相互完善），通过对广泛书面材料集与长篇连载文本的预训练，可以获取世界知识并处理复杂的长程依赖关系。
GPT-2在2019年2月宣布，它是一款无监督转化语言模型，在800万份文档上进行了训练，这些文档共计40GB，来源于Reddit用户分享的文章。然而，埃隆·马斯克并不愿意公开发布它，因为他担心它可能被用于向社交媒体发送虚假新闻。
2020年5月，OpenAI推出了GPT-3，该模型包含参数数量比GPT-2多一个数量级（1750亿个参数vs 15亿个参数），显著超越了GPT-2。
给定任何文本提示，GPT-3将返回一个完成的文本尝试匹配用户提供的模式。用户甚至可以指导它编写程序，只需展示几个希望其模仿的事例，它就会提供一篇完整的小说或故事，比如下述完全由GPT-3撰写：
Jordan Singer同样开发了一个Figma插件，使人们能够使用纯文字描述创建应用程序。
此外，还有其他令人振奕的应用，如搜索引擎或者智慧之声，有时还能帮助理解和扩展复杂概念。
尽管这种方法看似可能直接导致一种能够像人类一样理解、推理和交流的大型人工智能，但OpenAI警告称他们已经遇到了一项基础挑战：即使是高性能计算机也无法承受几千petaflop/s-day水平，而完整版GPT仅需几十petaflop/s-day。想要了解更多关于GPT-3的情况，请访问GitHub上的相关内容。
