2025-01-15 数码 0
据外媒MSPoweruser报道，GPT代表了一个具有前瞻性的语言模型系统，其全称为Generative Pre-training Transformer。这个模型是由Alec Radford所创造，并在2018年由埃隆·马斯克的OpenAI研究实验室发布。这项技术采用了一种独特的生成式语言模型结构，其中两个神经网络通过竞争机制相互完善。通过对广泛的书面材料和长篇连载文本进行预训练，GPT能够吸收世界知识并处理复杂的长程依赖关系。
GPT-2于2019年2月宣布，它是一种无监督转化语言模型，这意味着它是在800万份文档上进行了训练，这些文档总共占用了40GB空间，而这些数据主要来自Reddit上的用户分享文章。在推出这项技术时，埃隆·马斯克表达了一定的保留，因为他担心这种强大的工具可能会被用于向社交媒体发送假新闻。
2020年5月，OpenAI又推出了一个名为GPT-3的新版本，该模型包含比GPT-2多几个数量级参数（1750亿个参数与15亿个参数相比），因此其性能得到了显著提升。只要给予任何提示,GPT-3都能返回一段经过计算匹配用户模式的文本。如果需要编写程序，只需展示几个例子就可以得到一篇完整的小说或故事。
除了编程功能之外，人们还将使用这种技术作为搜索引擎或者智慧指南，有时候甚至可以用来解释和扩展复杂概念。而尽管这种方法看起来似乎可能直接导致一种能够像人类一样理解、推理和对话的人工智能，但OpenAI警告称他们已经遇到了一些基础挑战，比如需要几千petaflop/s-day这样的巨大计算资源才能运行，而较早版本仅需几十petaflop/s-day。此外，还有更多关于GPT-3的话题可供探讨，可以在GitHub上找到相关信息。
