雷鹏谈GPT-3它又将如何改变我们工作的面貌

据外媒MSPoweruser报道，GPT代表了Generative Pre-training Transformer的概念，是由Alec Radford所创造的语言模型，2018年由埃隆·马斯克的人工智能研究实验室OpenAI发布。它通过采用生成式语言模型（两个神经网络相互竞争完善），对各种书面材料集和长篇连载文本进行预训练，从而能够获取世界知识并处理复杂的长程依赖关系。

GPT-2于2019年2月宣布，它是一种无监督的转化语言模型，在800万份文档上训练，这些文档共计40GB，来源于Reddit用户提交分享的文章。然而，埃隆·马斯克并不愿意公开此技术，因为他担心它可能被用于向社交媒体发送假新闻。

2020年5月，OpenAI推出了GPT-3，该模型包含参数量比GPT-2高出几个数量级（1750亿个参数与15亿个参数相比），其性能也得到了显著提升。

只要给予任何提示,GPT-3都能返回一个完成后的文本，以匹配用户提供的模式。用户可以向它展示几例希望它实现的事情，它将为你提供一篇完整的小说或故事，就像下面的文字一样，全都是由GPT-3编写出来：

Jordan Singer同样创建了一款Figma插件，让人们使用纯文字描述来构建应用程序。

其他应用包括作为搜索引擎或智慧之源，以及解释和扩展复杂概念。

虽然这种方法看起来可能会导致一种理解、推理和对话能力如人类般强大的通用人工智能，但OpenAI警告称他们已经遇到了一系列基础问题：尽管计算量巨大，但需要数千petaflop/s每天，而完整版GPT-2只有几十petaflop/s每天。

在GitHub上有更多关于GPT-3相关信息等待探索。