2025-01-15 数码 0
据外媒MSPoweruser报道，GPT代表了Generative Pre-training Transformer的概念，是由Alec Radford所创造的语言模型，2018年由埃隆·马斯克的人工智能研究实验室OpenAI发布。它通过采用生成式语言模型（两个神经网络相互竞争完善），并对各种书面材料集和长篇连载文本进行预训练，可以获取世界知识，并处理复杂的长期依赖关系。
GPT-2于2019年2月公布，它是一款无监督的转化语言模型，在800万份文档上进行了训练，这些文档总共占用40GB空间，主要来源于Reddit用户提交分享的文章。然而，由于担心其可能被用于散播假新闻，埃隆·马斯克最初并不愿意公开此技术。
2020年5月，OpenAI推出了GPT-3，该模型在参数数量上大幅提升（从1750亿增长到15亿个参数），相比之下，它拥有显著提高性能。
只要提供任何文本提示,GPT-3都会返回一个完成后的文本，以尝试模仿用户给出的模式。用户甚至可以利用这种方法编程，只需向它展示几个希望实现的例子，就能得到一篇完整的小说或故事。此外，还有其他应用，如搜索引擎、智慧神谕，或解释和扩展复杂概念。
尽管这项技术似乎已经迈出了像人类一样理解、推理和对话通用人工智能的大门，但OpenAI警告称，他们可能遇到了根本性的扩展问题：GPT-3需要每天数千petaflop/s计算量，而仅有的GPT-2不过是几十petaflop/s日。在GitHub上，可查阅更多关于GPT-3详细信息。
