2025-01-15 数码 0
据外媒MSPoweruser报道，GPT代表了一个先进的人工智能技术——Generative Pre-training Transformer，其核心是由Alec Radford所编写的语言模型。2018年，这项技术被埃隆·马斯克创立的人工智能研究实验室OpenAI推出了。这款模型采用了两种神经网络相互竞争、完善的生成式语言模式，通过对大量书面材料和长篇连载文本进行预训练，它能够快速获取世界知识，并处理复杂的长期依赖关系。
在2019年2月，OpenAI宣布推出了一款更为先进的无监督转化语言模型，即GPT-2。它是在800万份文档上经过40GB大规模文本数据训练出来的，这些数据主要来自Reddit社区分享的文章。尽管拥有如此强大的能力，但埃隆·马斯克并没有立即将其发布，因为他担心这可能会被用来传播假新闻。
一年之后，在2020年的5月，OpenAI又推出了GPT-3，这是一款参数量比GPT-2多几个数量级（1750亿个参数与15亿个参数）的极大改进型语言模型。它能接收任何文本提示，然后返回一段匹配用户模式的完成内容。如果你向它展示一些例子，比如编程或故事撰写，它甚至能提供完整版的一篇文章或故事。
除了这些应用之外，GPT-3还可以作为搜索引擎或者灵感源头使用，以帮助理解和扩展复杂概念。不过，由于需要几千petaflop/s-day计算资源，而完全版本仅需几十petaflop/s-day，因此目前仍存在开发中的挑战。在GitHub上，你可以找到更多关于GPT-3技术详细信息和更新。
