2025-01-15 数码 0
据外媒MSPoweruser报道，GPT代表了Generative Pre-training Transformer这一先进的语言模型技术，其核心是由Alec Radford所创作，并于2018年由著名的OpenAI人工智能实验室发布。GPT通过独特的生成式语言模型（两个神经网络在竞争中相互完善），在广泛的书面资料和长篇连载小说上进行预训练，从而能够获取丰富知识并处理复杂的依赖关系。
GPT-2，一个无监督学习型转化语言模型，在2019年2月份宣布其存在。这一模型是在800万份文档基础上训练出来的，总共包含40GB文本数据，这些数据来源于Reddit社区分享的文章。然而，埃隆·马斯克对此表示担忧，因为他认为如果这种技术被滥用，它可能会被用于向社交媒体平台发送虚假新闻。
2020年5月，OpenAI推出了GPT-3，该模型参数量比GPT-2多了几个数量级（1750亿个参数vs 15亿个参数），实现了巨大的性能提升。在接收任何文本提示后，GPT-3能够返回精心编写以匹配用户模式的一段文字。如果用户只需向它展示几组希望它完成的事例，它便能提供完整的小说或故事段落，就像下面的这段完全由机器自动生成：
Jordan Singer同样开发了一款Figma插件，让人们可以使用纯文字描述来创建应用程序界面。
除了这些应用之外，人们还将其作为一种搜索引擎或智慧指南使用，还能帮助解释和扩展复杂概念。
尽管这个方法看似有潜力催生出能像人类一样理解、推理和对话的人工智能，但OpenAI警告称，他们遇到了一个根本性的挑战：即使拥有极高计算能力，大约几千petaflop/s-day，也无法与完整的大型版本——仅需几十petaflop/s-day——媲美。而更多关于GPT-3相关信息可在GitHub上找到。
