2025-02-23 智能 0
在科技创新筑梦未来论文中，我们探讨了达摩院多语言NLP团队发布的首个多语言多模态测试基准M3Exam及其对大模型评估的重要性。随着开源大模型的兴起，如何有效评估这些模型变得至关重要。人类考题已被广泛采用来检验模型知识及推理能力，而对于多语言和多模态的大型模型，缺乏相应的评测标准。
阿里巴巴达摩院团队填补了这一空白，通过M3Exam提供了一套包括12317道问题的测试框架。这项测试集有三个特点：支持9种不同的语言、结合了文字和图片题目，以及覆盖了小升初、中升高、高中学段考试内容。
我们使用各种开源和闭源模型进行了实验，并发现大部分模型表现不佳，即使是参数量相似的Flan-T5也未能展现出明显优势。此外，我们注意到尽管不同教育阶段的问题难度不同，但大多数模型在所有阶段都表现一致，这与人类解决问题的情景有显著差异。
这项研究提出了一个关键观察：为了更好地理解和改进机器学习算法，我们可能需要更加深入地研究它们在基础问题上的错误，而不是仅仅追求更复杂或困难的问题。在AI教育等实际应用场景中，这一点尤为重要。
总之，本文介绍了一项新的测试基准M3Exam，其目标是为评价跨语言和跨模态的大型神经网络提供一个可靠的参考。从当前结果看，不论是在资源丰富如英文或中文的情况下，大部分模式在多语种环境下的表现都不尽人意。而且，虽然目前存在一些能够处理简单图像信息的大型神经网络，但它们仍无法捕捉图像中的精细细节。我们期待M3Exam将帮助开发者迭代他们的工作，以便将这些先进技术带给全球用户，并拓宽其应用领域。
