网络科技有限公司深度解析GPT-4如何开启AI思考之门的新篇章

网络科技公司探索AI解释能力：GPT-4如何解析GPT-2样本开启新篇章

在去年11月底至今，人工智能（AI）聊天机器模型ChatGPT迅速席卷全球。根据Similarweb最新数据，截至今年4月，ChatGPT平台访问量达到17.6亿次，比3月份增长了12.6%，并且已经达到了谷歌的2%。

这些大型语言模型（LLM），包括背后的ChatGPT平台，都基于大量文本数据训练，并包含数千亿参数。它们能够提升产品销售、辅助人类决策过程，但计算机通常不会解释其预测结果。这就要求研究可解释性（interpretability），因为人类对模型内部工作原理的理解仍然非常有限，如检测有偏见或欺骗性内容输出。

站在OpenAI角度看，大型语言模型未来将像人脑一样拥有“神经元”（neurons），这些神经元会观察文本中的特定规律，并影响到模型产生的文本。因此，可解释性就是让模型能用通俗易懂的语言表达，将预测过程转化为具有逻辑关系的规则，从而通过查看内部分发现更多信息。

OpenAI最近使用了他们开发的大型语言模型系统 GPT-4 来解决可解释性的问题，这是其对齐研究第三支柱的一部分。这项研究希望利用自动化工具和测试方法来评估 AI 系统，同时提高 AI 数据准确性。

具体来说，OpenAI 开发了一套包含自动化工具和测试方法的评估流程：首先，让 GPT-2 运行文本序列等待某个特定神经元被频繁激活；然后，让 GPT-4 根据一段文本生成解释；随后，用 GPT-4 模拟 GPT-2 神经元接下来会做什么，并预测行为；最后，对比两个结果得分。在这个例子中，GPT-4 的得分为0.34。

使用上述评分方法，OpenAI 开始衡量他们技术对不同网络部分效果，并尝试针对目前不清楚的地方改进技术。尽管 OpenAI 表示，他们正在将所有 307,200 个神经元编写出的数据集和可视化工具开源，同时还提供了 OpenAI API 公开可用的代码进行进一步开发，但是目前还有许多局限性需要解决，如更大的模型、迭代解释以及算力消耗的问题等。

最终，OpenAI 希望这项技术可以形成、测试和迭代完全一般假设，从而与人类大脑想法和行为相媲美，以及将其大型语言模式作为部署前后检测对齐安全问题的一种方法。不过，在此之前，还有很长距离要走。