2025-01-15 数码 0
据外媒MSPoweruser报道，GPT代表了一个革命性的语言模型，它由Alec Radford开发，并于2018年由OpenAI发布。该模型采用了生成式语言模型的技术，通过对大量书面材料和长篇连载文本的预训练，可以获取广泛的世界知识并处理复杂的依赖关系。
GPT-2在2019年2月宣布，它是一种无监督的转化语言模型，经过在800万份文档上的训练，其参数量达到了40GB，这些文档来自Reddit社区分享。然而，埃隆·马斯克对其发布表示犹豫，因为他担心它可能被用于传播假新闻。
2020年5月，OpenAI推出了GPT-3，这一版本具有远超前代（1750亿个参数 vs 15亿个参数）的参数量，从而实现了显著提升。在接收任何文本提示后，该系统能够返回相应的文本完成，以匹配用户提供的模式。用户甚至可以向它展示编程示例，让它自动生成完整文章或故事。
除了这些应用之外，GPT-3还可以作为搜索引擎或智慧顾问使用，以解释和扩展复杂概念。不过，由于其计算需求极高（需要几千petaflop/s-day），OpenAI警告称可能会遇到基础设施扩展的问题，而较小版本如GPT-2仅需几十petaflop/s-day即可满足要求。此外，更详细信息关于GPT-3可在GitHub上找到。
