在大数据时代LLM排行榜首次更新GPT-4雄姿英发居首位参数超越330亿而开源之星小羊驼则稳坐榜首的

在大数据时代的浪潮中，UC伯克利LLM排位赛迎来了重磅更新！GPT-4依旧稳坐榜首，GPT-3.5紧随其后，而团队自家新发布的330亿参数Vicuna则勇夺开源模型第一名。除了排行榜上的变动，团队还加入了更多模型，并引入了全新的评价标准——MT-bench。这一系统评估机制不仅弥补了传统基准测试的不足，还揭示了LLM评判者的可靠性问题。在这次更新中，28个模型被全面评估，其中GPT-4与GPT-3.5/Claude之间，以及开源和专有模型之间，有着明显的性能差距。尽管开源模型仍有改进空间，但MT-Bench有效地区分了不同能力的LLM间性能差异，为理解这些差距提供了一定的洞察。此外，通过使用LLaMA等基于多轮对话能力进行评估，不同类型的模型也展现出了各自独特之处。而作为一种可解释性的评价手段，MT-bench能够为人类决策提供更清晰、逻辑严谨的反馈。未来计划中，将推出Chatbot Arena对话数据，以供研究社区广泛使用，并不断扩展和完善MT-bench的问题集，以期建立一个更加丰富和高质量的人工智能语言理解挑战平台。