2025-01-15 数码 0
据外媒MSPoweruser报道，GPT代表了一个具有前瞻性的语言模型，其全称为Generative Pre-training Transformer，是由Alec Radford所编写的，这一模型于2018年由埃隆·马斯克的OpenAI实验室发布。GPT通过采用生成式语言模型（两个神经网络在竞争中相互完善），利用对广泛书面材料和长篇连载文本进行预训练，以获取世界知识并处理复杂的长期依赖关系。
GPT-2于2019年2月宣布，它是一种无监督的转化语言模型，在800万份文档上进行了训练，总共包含40GB的文本数据，这些文档来源于Reddit用户分享的文章。然而，埃隆·马斯克并不愿意公开它，因为他担心它可能被用于向社交媒体发送假新闻。
2020年5月，OpenAI推出了GPT-3，这个模型参数量比GPT-2多一个数量级（1750亿个参数对15亿个参数），其性能也得到了显著提升。在给予任何文字提示的情况下，GPT-3能够返回一个完成后的文本内容，以匹配用户提供的模式。用户可以仅需展示几个例子，就能让它生成一篇完整的小说或文章，比如下面的文字，它完全是由GPT-3创作：
Jordan Singer同样开发了一款Figma插件，让人们可以使用纯文字描述来创建应用程序。此外，还有其他应用，如作为搜索引擎或者智慧之声，用以解释和扩展复杂概念。不过尽管这种方法看似可能会直接导致一种像人类一样理解、推理和对话的人工智能，但OpenAI警告说，他们可能遇到了根本性的扩展挑战：GPT-3需要每天几千petaflop/s计算能力，而完整的GPT-2只需要几十petaflop/s。更多关于GPT-3的话题可在GitHub上探索。
