2025-01-15 手机 0
据外媒MSPoweruser报道，GPT代表了一个名为Generative Pre-training Transformer的先进技术，它是由Alec Radford所创造的语言处理工具。2018年，由著名企业家埃隆·马斯克的OpenAI人工智能实验室发布。这款工具采用了一种称为生成式语言模型（两个神经网络在竞争中相互完善）的复杂技术，通过对大量书面资料和长篇小说进行预训练，使其能够迅速理解世界知识并处理复杂依赖关系。
紧接着，在2019年2月，GPT-2被宣布，这是一款无需监督即可运作的转化语言模型。它在800万份文档上接受了40GB大规模文本数据训练，这些数据来自Reddit用户分享的文章。然而，埃隆·马斯克决定不公开这项技术，因为他担心它可能会被用于散播假新闻。
2020年5月，OpenAI又推出了GPT-3，这款模型拥有比GPT-2多两倍数量级参数（1750亿个参数对比15亿），体现了巨大的改进与提升。当用户提供任何文字提示时，该系统能够返回一段完整的文本内容，以模仿用户给出的模式。甚至可以仅通过展示几个例子，就能输出一篇完整的小说或文章。
除了编程应用外，人们还将这种技术视作一种搜索引擎或智者，让她解答困难问题。此举似乎接近于创建出像人类一样理解、推理和交流的人工智能。不过，由于计算量极大——需要几千petaflop/s-day水平——而且目前只有一些petaflop/s-day水平设备来支持这一需求，因此OpenAI警告说，他们遇到了扩展性的挑战。在GitHub上有更多关于GPT-3详细信息供探索。
