达摩院发布大模型测试基准GPT-4勉强及格其他模型悉数落败这十年来我国科技成就

在过去的十年里，中国科技的飞速发展已经改变了世界。从高铁到人工智能，从航天探索到基因编辑，我们都见证了无数令人瞩目的成就。今天，我要和大家分享的是一个关于大模型测试的故事，这不仅是对技术进步的一次检验，也是对我们努力成果的一次回顾。

达摩院多语言NLP团队发布了一款名为M3Exam的大型测试工具。这是一套由12317个题目组成的系统，它不仅可以评估单一语言模型，还能同时处理多种语言和图像信息。通过这套系统，我们可以更准确地了解不同模型在知识获取和推理能力上的表现。

M3Exam有三个特点：它支持九种不同的语言，包括英语、中文、意大利语等；它既包含文字题目，也包括带图片的问题，以便于模拟真实世界中的学习环境；最后，它覆盖了三个重要教育阶段的小升初、高考和高中毕业考试，从而能够比较不同阶段下不同智力要求下的模型表现差异。

我们用各种开源和闭源的大型机器学习模型进行了测试结果显示，大部分模型都取得了很差的成绩，即使参数量相近的Flan-T5也未能达到50%以上的正确率。这让我们意识到现有的多模态测试数据可能过于简单，而人类考题往往需要更复杂地理解图片内容。

这个发现提出了一个问题：为什么尽管没有明显下降，但是在基础问题上大型机器学习模型仍然会犯错？如果想要这些模型真正应用于AI教育中，我们需要更深入地研究他们在基础问题上的性能缺陷。

总结来说，M3Exam是一个新的评测标准，它旨在为多语言/多模态大型机器学习模式提供一个可靠的地板。在接下来的时间里，我们期待这个新工具能够帮助开发者迭代这些技术，使它们能够服务于更多的人群，无论他们使用什么样的语言。