2025-01-15 手机 0
据外媒MSPoweruser报道，GPT代表了一个革命性的语言模型，它由Alec Radford开发，并于2018年由OpenAI发布。该模型采用了生成式语言模型的技术，这种技术通过两个神经网络之间的竞争与合作来完善其表现。通过对大量书面材料和长篇连载文本进行预训练，GPT能够获取世界知识并处理复杂的长程依赖关系。
GPT-2在2019年2月宣布，它是基于800万份文档和40GB文本数据训练出来的一个无监督转化语言模型。这一数据集来源于Reddit用户分享的文章。然而，埃隆·马斯克对此持保留态度，因为他担忧这种技术可能被用于向社交媒体发送假新闻。
2020年5月，OpenAI推出了GPT-3，这是一个参数量远超GPT-2（1750亿参数vs 15亿参数）的新型语言模型，其性能也有显著提升。给定任何文本提示,GPT-3都能返回相应的文本完成，以匹配用户提供的模式。此外，该系统还可以接受编程任务，只需展示几个示例，就能生成完整的小说或故事。
除了这些应用之外，GPT-3还可以作为搜索引擎或智慧导师使用，即使在解释复杂概念时也能发挥作用。不过，由于其计算需求极高——需要几千petaflop/s-day，而完整的GPT-2只需几十petaflop/s-day—OpenAI警告称，他们可能会遇到扩展性问题。在GitHub上，有更多关于GPT-3及其潜力应用领域的手册资料可供查阅。
