2025-01-15 数码 0
据外媒MSPoweruser报道，GPT代表了一个先进的语言模型系统，由Alec Radford设计，并于2018年由埃隆·马斯克的OpenAI研究实验室发布。该系统采用了生成式语言模型技术，通过对大量书面材料和长篇连载文本进行预训练，能够理解世界知识并处理复杂的依赖关系。
GPT-2在2019年2月推出，它是一个无监督的转化语言模型，在800万份文档上进行了训练，这些文档共计40GB，以Reddit分享文章为基础。然而，埃隆·马斯克对于其公开发布持有保留态度，他担心它可能被用于向社交网络发送假新闻。
2020年5月，OpenAI推出了GPT-3，该模型参数量大幅提升至1750亿，与仅有15亿参数的GPT-2相比，其性能得到了显著提升。
给定任何文字提示,GPT-3都能返回一个完成后的文本，以匹配用户提供的模式。用户只需展示几个希望它模仿的例子，便可以获得一篇完整的小说或文章。此外，还有一些应用场景，比如作为搜索引擎或神谕工具，以及解释和扩展复杂概念。
尽管这种方法看起来可能会带来像人类一样理解、推理和对话能力，但OpenAI警告称他们遇到了扩展性问题——GPT-3需要每天几千petaflop/s计算量，而相似的GPT-2仅需几十petaflop/s。这一点在GitHub上有更多关于GPT-3技术细节可供探讨。
