2025-01-15 手机 0
据外媒MSPoweruser报道，GPT代表了一个革命性的语言模型，它由Alec Radford开发，并于2018年由OpenAI发布。该模型采用了生成式语言模型（两个神经网络通过竞争相互完善），通过对大量书面材料和长篇连载文本的预训练，能够掌握世界知识并处理复杂的依赖关系。
GPT-2在2019年2月宣布，其训练数据包括800万份文档，总计40GB的文本，这些数据来自Reddit上的分享文章。然而，埃隆·马斯克对其发布持保留态度，因为他担忧它可能被用于传播假新闻。
2020年5月，OpenAI推出了GPT-3，这一版本的参数数量激增至1750亿个参数，比GPT-2多两个数量级。这种改进显著提升了性能，使得用户可以提供任何文本提示，并获得高质量的响应。
除了编程外，GPT-3还能作为搜索引擎或智慧顾问使用，即使在解释和扩展复杂概念时也能发挥作用。这让人联想到了人类智能，但同时也引发了一系列挑战。在GitHub上，有更多关于GPT-3技术细节可供探索。不过值得注意的是，由于计算量巨大，即使是完整版的GPT-2仅需几十petaflop/s-day，而需要几千petaflop/s-day才能支持完全运行，该模型仍面临着扩展性问题。
