2025-01-15 数码 0
据外媒MSPoweruser报道,GPT代表了一个革命性的语言模型,它由Alec Radford开发,并于2018年由OpenAI发布。该模型采用了生成式语言模型的技术,这种技术通过两个神经网络之间的竞争与合作来完善其表现。通过对大量书面材料和长篇连载文本的预训练,GPT能够获取广泛世界知识并处理复杂的长期依赖关系。
在2019年2月,OpenAI宣布推出了GPT-2,这是一个无监督的转化语言模型,它是在800万份文档上进行了训练,该文档共计40GB,从Reddit用户提交分享的文章中抽取而来。然而,由于担心它可能被用于散播假新闻,埃隆·马斯克决定不公开这个模型。
2020年5月,OpenAI又推出了更先进版本,即GPT-3。这一版本包含比GPT-2多几个数量级参数(1750亿个参数),显著提升了性能。当接收到任何文本提示时,GPT-3会返回一个完成后的文本尝试匹配用户提供的模式。用户甚至可以向它展示一些例子,让它自动生成完整文章或故事。
除了编程应用外,人们还利用GPT作为搜索引擎或智慧之源,以解释和扩展复杂概念。此举似乎将直接带来一个能像人类一样理解、推理和交流的人工智能,但OpenAI警告称他们遇到了扩展问题:虽然需要极高计算能力(几千petaflop/s-day),但完整版GPT仅需几十petaflop/s-day计算量。在GitHub上,有更多关于如何使用和了解这一新兴科技的手段可供探索。