智能时代达摩院发布大模型测试基准GPT-4勉强及格其他模型悉数落败

在智能时代的背景下，达摩院多语言NLP团队发起了一项具有划时代意义的实验：他们开发了一个名为M3Exam的大型测试基准，用以评估多语言和多模态能力。这个项目不仅重要，而且充满挑战，因为它旨在通过一套统一的标准来衡量不同模型在各种任务上的表现。

M3Exam的设计巧妙地结合了三个关键特点：多语言（Multilingual）、多模态（Multimodal）和多阶段（Multilevel）。第一方面涉及到9种不同的语言，这些语言来自于世界上九个国家，包括英语、中文、意大利语等。此外，所有问题都来源于对应国家的官方试题，以确保它们具有真实性和难度。

第二个特点是处理图像数据，这使得模型能够理解文本与图片之间的关系，从而提高其整体性能。最后，第三个特点是考虑不同教育水平的问题，这包括小升初、中升高、高中毕业考试等级别，以便比较不同阶段对应智力要求下的模型表现差异。

为了测试这些新颖但复杂的技术，该团队选择了几种开源和闭源的大型模型，并将它们放入同样的环境中进行比较。这是一个有趣且紧张的情景，因为结果可能会揭示出哪些模型更适合使用，而哪些则需要进一步改进。

最终，他们发现大部分模型表现都不理想，即使是那些参数相似但没有使用图像输入功能的大型Flan-T5模型也未能达到50%以上正确率。这表明当前用于训练大型机器学习系统的人工智能算法尚需改进，以便更好地理解并回答复杂的问题。

此外，研究人员还观察到尽管从低至高教育水平的问题难度逐渐增加，但几乎所有参与测试的大型机器学习系统都显示出相同模式，即在“中等”水平的问题上取得最佳成绩。这种现象提出了一个关于如何有效利用人工智能工具进行基础技能教学的问题，以及为什么目前许多基于AI的人工智能工具无法提供期望中的服务质量。

总之，M3Exam是一个革命性的创新，它为评估和优化人工智能算法提供了一个全新的平台。在未来的时间里，我们可以期待该项目带来的重大突破，将改变我们如何使用AI解决日常问题，同时促进全球各地人们共享知识资源。