2025-01-15 数码 0
据外媒MSPoweruser报道，GPT代表了一个先进的语言模型系统，由Alec Radford设计，并于2018年由埃隆·马斯克的OpenAI研究实验室发布。该系统采用了两种神经网络通过竞争互相完善的生成式语言模型，通过对大量书面材料和长篇连载文本进行预训练，可以获取世界知识并处理复杂的长期依赖关系。
GPT-2在2019年2月宣布，它是一款无监督转化语言模型，在800万份文档上进行了训练，总共使用了40GB的文本，这些文本来源于Reddit用户分享的文章。然而，埃隆·马斯克最初并不愿意公开此技术，因为他担心它可能被用于向社交媒体发送假新闻。
2020年5月，OpenAI推出了GPT-3，该模型参数量比GPT-2大多个数量级（1750亿参数与15亿参数），也取得了显著提升。在接受任何文本提示后,GPT-3能够返回一段完整的文本，以匹配用户提供的情景模式。用户可以仅提供几个例子，就能得到一篇全新的文章或故事，比如Jordan Singer创造了一款Figma插件，使得人们可以用纯文字描述来创建应用程序。
此外，还有其他应用场景，如搜索引擎、智慧型问答机器人甚至解释难以理解的问题。此技术看似正在迈向开发出能够像人类一样理解、推理和交流的人工智能，但OpenAI警告称，他们可能会遇到扩展性问题：GPT-3需要每天数千petaflop/s计算能力，而较为简单的GPT-2只需几十petaflop/s。这方面更多信息可在GitHub上查询。
