2025-01-15 数码 0
据外媒MSPoweruser报道，GPT代表了一个先进的语言模型系统，由Alec Radford所创，并于2018年由埃隆·马斯克的OpenAI实验室发布。该系统采用了生成式语言模型技术，通过对大量书面材料和长篇连载文本的预训练，能够掌握广泛知识并处理复杂依赖关系。
在2019年2月，GPT-2被宣布，这是一个无监督的转化语言模型，它在800万份文档上进行了训练，总计40GB文本数据来源于Reddit用户分享的文章。然而，由于担心其可能用于散播假新闻，埃隆·马斯克决定不公开此技术。
2020年5月，OpenAI推出了GPT-3，该模型参数数量比GPT-2增加了两倍（1750亿vs 15亿），显著提升性能。它可以接收任何文本提示，并返回相应的完成内容，以匹配用户提供模式。例如，只需展示几个例子，即可让它编写完整文章或故事。
除了编程应用外,GPT-3还可以作为搜索引擎或神谕工具，以及解释和扩展复杂概念。此方法虽然看似有潜力创建理解、推理和对话能力的人工智能，但OpenAI警告称他们遇到了扩展挑战：GPT-3需要几千petaflop/s-day计算量，而完整的GPT-2仅需几十petaflop/s-day。此外，还有更多关于GPT-3信息可在GitHub上获取。
