2025-01-15 手机 0
据全球科技媒体报道，GPT是一种基于Transformer架构的语言模型，其全称为Generative Pre-training Transformer，由Alec Radford开发，并于2018年由OpenAI发布。这款模型采用了生成式语言模型技术，通过对大量书面材料和长篇连载文本进行预训练，可以获取广泛知识并处理复杂的依赖关系。
在2019年2月，GPT-2被宣布，它是无监督学习的转化语言模型，在800万份文档上进行了40GB规模的文本训练，这些数据来源于Reddit社区。然而，埃隆·马斯克表示不愿意公开该模型，因为他担心它可能用于传播假新闻。
2020年5月，OpenAI推出了GPT-3，该模型参数数量激增至1750亿个参数，比GPT-2多两个数量级。相较之下,GPT-3显著提升了性能。
当用户提供任何文字提示时，GPT-3能够返回一个相应的完成尝试匹配用户给出的模式。例如，如果只需展示几个例子，便能生成完整文章或故事。此外，该技术也可应用于创建Figma插件，让用户使用纯文本描述来设计应用程序，或作为搜索引擎和智慧咨询工具，以解释复杂概念。
尽管这种方法看似可以逐步实现像人类一样理解、推理和对话的人工智能，但OpenAI警告称，他们可能遇到了扩展性挑战：GPT-3需要几千petaflop/s-day计算量，而完整的GPT-2仅需几十petaflop/s-day。在GitHub上，有更多关于GPT-3相关内容等待探索。
