2025-01-15 数码 0
据外媒MSPoweruser报道,GPT代表了一个具有前瞻性的语言模型,其全称为Generative Pre-training Transformer,是由Alec Radford所创造的。2018年,它被埃隆·马斯克的人工智能研究实验室OpenAI发布。这款工具采用了一种独特的生成式语言模型(两个神经网络通过竞争相互完善),通过对各种书面材料集和长篇连载文本进行预训练,可以获取世界知识并处理复杂的依赖关系。
GPT-2在2019年2月宣布,这是一款无监督的转化语言模型,它是在800万份文档上训练出来的,总共包含40GB的文本数据,这些文档来自Reddit用户分享的文章。尽管埃隆·马斯克对此表示担忧,他认为这可能会被用于向社交媒体发送假新闻,但最终还是选择了公开它。
2020年5月,OpenAI推出了GPT-3,这一版本拥有比GPT-2多几个数量级参数(1750亿个参数对比15亿个参数),显著提升了其性能。当给予任何文本提示时,GPT-3能够返回一个完整且符合模式要求的文本。如果用户提供一些例子,比如编程指令或故事大纲,它甚至能自动生成完整的小说或文章。
除了这些应用之外,人们还可以使用它作为搜索引擎或者智慧探索者,让复杂概念更易于理解。此举看似近乎实现了一种像人类一样理解、推理和交流能力,但OpenAI警告称,他们已经遇到了扩展性问题。具体来说,虽然GPT-3需要每天几千petaflop/s计算量,而仅需几十petaflop/s日就能完成同样工作量的事务型人工智能系统尚未达到这一水平。在GitHub上,有更多关于这个项目详细信息可供探索。
上一篇:影楼镜中花月下魅