2025-01-22 科技 0
在去年11月底至今，人工智能（AI）聊天机器模型ChatGPT风靡全球。据Similarweb公布的最新数据，截至今年4月，ChatGPT平台访问量达到17.6亿次，比3月份增长了12.6%，同时已达到谷歌的2%。
ChatGPT背后的大型语言模型（LLM），是基于大量文本数据训练、包含数千亿（或更多）参数的语言模型。在大数据时代，这类 AI 机器学习模型可以在提升产品销售、辅助人类决策过程中能够起到很大的作用，但是计算机通常不会解释它们的预测结果，而语言模型想要变得更强大，部署更广泛，就需要研究可解释性（interpretability），因为人类对模型内部工作原理的理解仍然非常有限。
站在OpenAI 的角度看，大模型未来将和人脑一样拥有“神经元”（neurons），这些神经元会观察文本中的特定规律，进而影响到模型本身生产的文本。所以可解释性就是将模型能用通俗易懂的语言进行表达，把 모델预测过程转化成具备逻辑关系的地规则能力，从而通过查看模式内部来发现更多信息。
例如，如果有一个针对“漫威超级英雄”的神经元，当用户向模式提问“哪个超级英雄能力最强”时，这个神经元就会提高模式在回答中说出漫威英雄概率或者弄清楚为什么人类神经元，可以决定进行某些搜索引擎查询或访问特定网站，即逐步转化一种有数据可解释性的“无监督学习”模式。
OpenAI这次使用GPT-4来解决可解释性的问题，就是希望能够使用自动化方式，让机器提高 AI 数据准确性，该研究成果上, OpenAI 开发了一套包含自动化工具和测试方法评估流程：首先，将 GPT-2 运行文本序列等待某个特定神经被频繁激活；然后让 GPT-4 模拟接收到的文本和激活情况判断是否相关；随后模拟 GPT-2 接下来会做什么，并评估打分，对比 GPT-4 模拟结果与真实结果精度，在下图例子中,GTP得分为0.34。
利用上述评分方法, OpenAI 开始衡量他们技术对网络不同部分效果并尝试针对目前不清楚部分改进技术。OpenAI 表示，他们正在将 GTP 编写对所有307,200 个神经元讲故事及代码开源，同时提供了 API 公开使用以开发新的技术提升指标。此外，该团队还发现，有超过1000 个激活高于0.8 分，这意味着他们已经可以理解许多概念，但该团队表示希望通过迭代不断改进，以此实现更好的性能。
对于局限性方面, OpenAI表示当前生成说明还不完美，更大的视觉输入难以处理；复杂行为无法简短自然描述；以及整个过程消耗巨大算力等问题。OpenAI 希望未来的工作中解决这些挑战，最终目标是形成一般假设，并检测部署前后的安全问题，为我们展示了如何进一步探索人工智能潜能。
