2025-01-15 数码 0
据外媒MSPoweruser报道，GPT代表了一个革命性的语言模型，它由Alec Radford开发，并于2018年由OpenAI发布。该模型采用了生成式语言模型的技术，这涉及到两个神经网络之间的竞争与合作，以此来完善它们对不同文本材料和长篇连载小说的理解能力。通过对大量书面材料和长篇小说进行预训练，GPT能够获取世界知识并处理复杂的依赖关系。
GPT-2在2019年2月宣布，它是无监督学习的转化语言模型，该模型是在800万份文章上训练出来的，总共包含40GB文本数据，这些文章来自Reddit用户分享的内容。尽管埃隆·马斯克希望保持其秘密，因为他担心它可能被用来散播假新闻，但最终还是被公开了。
2020年5月，OpenAI推出了GPT-3，它拥有比GPT-2多几个数量级参数（1750亿个参数对比15亿个参数），这使得它在性能上有了显著提升。在接收任何文本提示后,GPT-3能够返回一个完整且相匹配模式的文本。如果只给出几个例子，比如编程或写作示例，它可以创造一整篇文章或故事。
除了这些应用之外，人们还将其作为搜索引擎或者智慧神谕使用，即便用于解释复杂概念也非常有效。不过，由于这种方法看似会直接导致人类水平的人工智能，而OpenAI警告说他们遇到了扩展问题——即需要数千petaflop每天计算量，而GPT-2仅需几十petaflop/s-day。这意味着我们仍然远离真正的人类水平AI。但如果你想了解更多关于GPT-3的事实，你可以访问GitHub上的相关信息。
