2025-01-15 数码 0
据外媒MSPoweruser报道，GPT代表了Generative Pre-training Transformer的概念，是由Alec Radford所创造的语言模型，2018年由埃隆·马斯克的人工智能研究实验室OpenAI发布。它通过采用生成式语言模型（两个神经网络相互竞争完善），并对各种书面材料集和长篇连载文本进行预训练，可以获取世界知识，并处理复杂的长程依赖关系。
GPT-2于2019年2月宣布，它是一个无监督的转化语言模型，在800万份文档上进行了训练，这些文档共计40GB，从Reddit上的分享文章中抽取而来。然而，埃隆·马斯克并不愿意公开它，因为他担心它可能被用于向社交网络发送假新闻。
2020年5月，OpenAI发布了GPT-3，这个模型包含参数量比GPT-2多一个数量级（1750亿参数与15亿参数相比），其性能也得到了显著提升。
只要给予任何文本提示，GPT-3都能返回一段文字，以匹配用户提供的模式。用户甚至可以将编程任务委托给它，只需展示几个希望其完成类似任务的例子，它就会提供一篇完整的小说或故事，比如下面完全由GPT-3创作：
Jordan Singer同样开发了一款Figma插件，让人们能够使用纯文本描述创建应用程序。
其他潜在应用包括作为搜索引擎或智慧之源，以及解释和扩展复杂概念。
尽管这种方法看起来可能会直接导致一种像人类一样理解、推理和对话的通用人工智能，但OpenAI警告称，他们可能遇到核心扩展问题：GPT-3需要几千petaflop/s-day计算能力，而完整的GPT-2只有几十petaflop/s-day计算能力。
想要了解更多关于GPT-3的话题，请访问GitHub。
