2025-01-15 数码 0
据外媒MSPoweruser报道，GPT代表了一个先进的语言模型系统，由Alec Radford设计，并于2018年由埃隆·马斯克的OpenAI研究实验室发布。该系统采用了两种竞争合作的神经网络，通过对大量书面材料和长篇连载文本进行预训练，能够掌握世界知识并处理复杂的依赖关系。
GPT-2在2019年2月宣布，其是一个无监督学习的转换语言模型，它在800万份文章上训练得到了40GB的大量文本数据，这些文章来源于Reddit用户分享。然而，埃隆·马斯克对其公开发布持保留态度，他担忧这种技术可能被用于散播假新闻。
2020年5月，OpenAI推出了GPT-3版本，该模型拥有比GPT-2多两个数量级参数（1750亿个参数与15亿个参数），显著提升了性能。它能够接收任何文本提示，然后生成相应内容，以匹配用户提供的模式。如果只给予少量示例代码或故事框架，它可以编写完整篇文章或故事。
除了这些应用之外，GPT-3还可作为一种搜索引擎或者智慧咨询工具，用来解释和扩展复杂概念。不过，由于其计算需求极高（需要几千petaflop/s-day，而完整的GPT-2仅需几十petaflop/s-day），OpenAI警告说可能会遇到基础设施扩展问题。在GitHub上有更多关于GPT-3技术细节的信息。
