2025-01-15 数码 0
据外媒MSPoweruser报道，GPT代表了Generative Pre-training Transformer的概念，是由Alec Radford所创造的语言模型，2018年由埃隆·马斯克的人工智能研究实验室OpenAI发布。它通过采用生成式语言模型（两个神经网络相互竞争完善），对各种书面材料集和长篇连载文本进行预训练，从而能够获取世界知识并处理复杂的长程依赖关系。
GPT-2于2019年2月宣布，它是一种无监督的转化语言模型，在800万份文档上进行了训练，这些文档共计40GB，主要来源于Reddit用户分享的文章。然而，由于担忧其可能被用于向社交网络发送假新闻，埃隆·马斯克并不愿意公开发布此技术。
2020年5月，OpenAI推出了GPT-3，该模型参数量比GPT-2多一个数量级（1750亿个参数对比15亿个参数），实现了巨大的性能提升。
只要给予任何提示文字,GPT-3都能返回相应完成的文本，以匹配用户提供的模式。用户可以通过展示几个例子来指导它编写完整文章或故事，如下：
Jordan Singer同样开发了一款Figma插件，使得人们能够使用纯文本描述创建应用程序。
其他应用包括作为搜索引擎或智慧的一种形式，即使在解释和扩展复杂概念时也同样有效。
尽管这种方法看似有潜力直接导致一种像人类一样理解、推理和对话能力的人工智能，但OpenAI警告称他们可能遇到了基础扩展问题：GPT-3需要每天几千petaflop/s计算量，而完整版GPT-2仅需几十petaflop/s。
对于更多关于GPT-3的事宜，可以在GitHub上查阅相关内容。
