2025-01-15 数码 0
据外媒MSPoweruser报道,GPT代表了一个名为Generative Pre-training Transformer的先进语言模型,其核心代码由Alec Radford所编写,并于2018年由埃隆·马斯克领导的人工智能研究实验室OpenAI发布。GPT采用了一种独特的生成式语言模型架构,通过两个神经网络相互竞争和完善,从而能够有效地学习世界知识并处理复杂的长期依赖关系。这一技术在预训练阶段是基于大量书面材料和长篇连载文本进行的,这使得它能够理解和生成高质量的自然语言文本。
随后,在2019年2月,OpenAI宣布推出GPT-2,这是一个无监督转化型语言模型,它是在800万份文章上经过40GB文本数据集训练获得,其中大部分来自Reddit用户分享的内容。然而,由于担心这项技术可能被用于散播假新闻,因此埃隆·马斯克对其公开使用持有保留态度。
2020年5月,OpenAI又推出了更先进的一代产品——GPT-3,它拥有比GPT-2多几个数量级参数(1750亿个参数vs 15亿个参数),显著提升了性能。在接收任何文本提示后,GPT-3可以返回一个完整且符合模式的文本响应,无论是编程、创作故事还是解释复杂概念,都能以惊人的速度完成任务。
例如,就像Jordan Singer创建的一个Figma插件一样,只需向它提供几行描述示例,它就能自动产生一整篇应用程序设计方案。此外,还有其他潜在应用,如搜索引擎或神谕服务,让人们可以快速获取信息和解答疑惑。
尽管这种方法看似正在朝着创造能够像人类一样理解、推理和交流的情境人工智能迈进,但OpenAI警告称,他们遇到了扩展性挑战,即便如此强大的计算机系统仍需要每天数千petaflop/s才能运行,而与之相比,更早版本仅需几十petaflop/s即可完成相同任务。
对于想要了解更多关于GPT-3及其功能细节的人们,可以访问GitHub上相关资料获取进一步信息。
下一篇:摄影我的画布上的故事