科技部人事司将迎来GPT-4这不仅超越了ChatGPT的范畴甚至连它自己都难以望其项背

GPT-4的问世，让ChatGPT黯然失色

作为人工智能发展史上的一个里程碑，ChatGPT自2022年11月30日发布以来，一直是科技界的焦点。就在人们对ChatGPT热潮尚未消退之时，OpenAI公司在2023年3月14日推出了新一代的人工智能语言模型——GPT-4，并宣布它是“OpenAI最先进的系统”，能够产生更安全、更有用的响应。

那么，与前辈ChatGPT相比，GPT-4究竟有什么样的进步呢？支持这些进步的是什么底层逻辑呢？

为了回答这些问题，本文将从两个维度进行比较：一是在基础模型层面，将会探讨GPT-4与其前身（即作为其基础的大模型）之间的差异；二是在应用能力上，将会分析两者在处理不同任务时所展现出的差异。

首先，我们来看看两者的基础模型如何变化。

01

GPT-4与其前身大模型

尽管结构基本相同，但历代都有所演变。原理是一致的：采用自回归生成方法；首先预训练一个通用基础模型，然后通过监督学习微调适配各种任务；最后通过强化学习使得模仿人类交流。然而，不同之处主要体现在规模、数据量、信息支持能力以及功能等方面。

具体来说：

模型规模。相较于1750亿参数，新的参数数量增加到5000亿甚至更多。这意味着更大的规模通常意味着更好的性能和生成更加复杂和准确的语言。

预训练数据量。大幅增加了使用来源广泛且多样化的网页、书籍和论文等文本数据，以及大量可视数据，这使得知识库更加丰富，对回答也更加针对性。

表1 OpenAI历代大模型参数与预训练数据量对比

02

2. 应用能力上的差异

除了文字输出外，新的版本还具有看图作答、分析图表等多种功能，使得应用范围更加广泛。此外，在处理复杂问题方面表现出明显提升，如参加律师考试中达到前10%水平，而之前只能进入应试者倒数10%左右。在USABO Semifinal Exam 2020及GRE口语测试中，也取得了接近满分成绩。

03

总结而言，即便以高水準技术为基礎の聊天機器人來說，這些進步仍然顯示了技術進步與應用領域擴展的一般趨勢。而這種發展將會繼續影響各個行業，並且對於我們如何與人工智慧互動帶來深遠影響。