2025-01-15 数码 0
据外媒MSPoweruser报道，GPT代表了一个先进的语言模型系统，由Alec Radford设计，并于2018年由埃隆·马斯克的OpenAI研究实验室发布。该系统采用了两种神经网络通过竞争互相完善的生成式语言模型，通过对大量书面材料和长篇连载文本进行预训练，可以获取世界知识并处理复杂的长期依赖关系。
GPT-2在2019年2月宣布，它是一款无监督转化语言模型，在800万份文档上经过训练，这些文档共计40GB，来源于Reddit用户分享的文章。然而，埃隆·马斯克对其发布表示犹豫，因为他担忧它可能被用于向社交媒体发送假新闻。
2020年5月，OpenAI推出了GPT-3，这个模型参数量大幅增加到1750亿（与GPT-2中的15亿参数相比），性能也得到了显著提升。在接收任何文本提示后，该系统能够返回一段符合模式要求的完成文本。用户可以向它提供编程示例，它将根据这些示例生成完整文章或故事，就像下面的文字一样，是完全由GPT-3创作：
Jordan Singer还开发了一款Figma插件，使人们可以用纯文本描述来创建应用程序。此外，该技术还可作为搜索引擎或智慧神谕使用，有助于解释和扩展复杂概念。
尽管这种技术看似能直接导致一种类似人类理解、推理和对话能力的人工智能，但OpenAI警告称，他们可能遇到了扩展性问题——即使是拥有几千petaflop/s天计算能力的大型GPT-3，也无法达到小型但功能强大的完整GPT-2所需仅几十petaflop/s天计算量。更多关于GPT-3的事宜可以在GitHub上找到。
