2025-01-22 科技 0
据悉，自去年11月底至今，人工智能（AI）聊天机器模型ChatGPT风靡全球。根据Similarweb公布的最新数据，截至今年4月，ChatGPT平台访问量达到17.6亿次，比3月份增长了12.6%，同时已达到谷歌的2%。
ChatGPT背后的大型语言模型（LLM），是基于大量文本数据训练、包含数千亿（或更多）参数的语言模型。在大数据时代，这类 AI 机器学习模型可以在提升产品销售、辅助人类决策过程中能够起到很大的作用，但是计算机通常不会解释它们的预测结果，而语言模型想要变得更强大，部署更广泛，就需要研究可解释性（interpretability），因为人类对模型内部工作原理的理解仍然非常有限，例如可能很难从中检测到有偏见、欺骗性内容输出。
站在OpenAI 的角度看，大模型未来将和人脑一样拥有“神经元”（neurons），这些神经元会观察文本中的特定规律，进而影响到模型本身生产的文本。所以可解释性就是将模型能用通俗易懂的语言进行表达，把模型的预测过程转化成具备逻辑关系的规则的能力，从而通过查看模型内部来发现更多信息。
例如，如果有一个针对“漫威超级英雄”的神经元，当用户向模式提问“哪个超级英雄能力最强”时，这个神经元就会提高模式在回答中说出漫威英雄概率或者弄清楚为什么人类神经元，可以决定进行某些搜索引擎查询或访问特定网站，即逐步转化一种有数据可解释性的“无监督学习”模式。
OpenAI这次使用GPT-4来解决可解释性的问题，就是希望能够使用自动化方式，让机器提高 AI 数据准确性，该研究成果上，由于开发了一套包含自动化工具和测试方法评估流程：首先，让 GPT-2 运行文本序列等待某个特定神经元被频繁激活；然后让 GPT-4 针对一段文本生成解释；随后，用 GPT-4 模拟 GPT-2 神经元接下来会做什么，对比得分，对于目前不清楚部分改进技术。OpenAI 表示，他们正在将所有307,200个神经元编写好的对每一个都有的详细描述与代码开源，同时还提供了OpenAI API公开可用的开放式项目进行评分和代码分享，从而希望学术界能开发出新的技术来提升GPT-models 解释分数。
对于局限性，如迭代改进、调整已知结构等，用不同的激活函数训练，有助于提高解释评分。而对于缺陷，如当前生成未完美，还需进一步优化以适应不同规模的大型语言模块，并且复杂行为无法简短自然描述等问题，也正是下一步要解决的问题。
最终目标，是建立完全一般假设，以此形成、测试并迭代完全一般假设，以此与人类大脑相匹敌，以及将其作为部署前后检测对齐安全问题的一种方法。
然而，在实现这一目标之前，还有一长条路要走。
"我们希望这将开辟一条有前途途径。”Jeff Wu表示，一旦这个系统稳定，它就可以成为其他人构建并贡献给社区自动方案基础，因此能够有效地解决 AI 模型不可见现象的问题，比如如何影响人的思维活动。（文章首发钛媒体App,作者 林志佳）
