2025-01-15 数码 0
据外媒MSPoweruser报道，GPT代表了一个先进的语言模型系统，由Alec Radford设计，并于2018年由埃隆·马斯克的人工智能研究实验室OpenAI发布。这种系统采用了两种神经网络相互完善的生成式语言模型技术，通过对大量书面材料和长篇连载文本进行预训练，使其能够获取世界知识并处理复杂的依赖关系。
GPT-2在2019年2月宣布，它是基于800万份文档和40GB文本数据集（来源于Reddit用户分享的文章）进行无监督训练的转化语言模型。然而，埃隆·马斯克最初对其发布表示犹豫，因为他担忧它可能被用于传播假新闻。
2020年5月，OpenAI推出了GPT-3，这个模型拥有比GPT-2多两个数量级参数（1750亿vs 15亿），显著提升了性能。该系统能够接收任何文本提示，并返回一个完成后的文本，以匹配用户提供的模式。用户可以仅通过展示几个例子，就能让它生成完整文章或故事。
除了编程应用之外，GPT-3还可作为搜索引擎或智慧顾问使用，有助于解释复杂概念。在看似实现人类水平理解、推理和对话能力的情况下，OpenAI警告称他们可能遇到了扩展性挑战。由于计算需求极高，即使是完整的GPT-2也只有几十petaflop/s-day，而需要几千petaflop/s-day来运行完整版GPT-3。
对于更多关于GPT-3信息，可以访问GitHub了解详细内容。这项技术不仅改变了我们与人工智能交流方式，也为未来的研究和创新奠定了基础。
