2025-02-28 智能 0
在全国青少年科技创新大赛的盛名下，UC伯克利LLM排位赛迎来了首次重磅更新。GPT-4依旧稳坐榜首，其后紧跟的是GPT-3.5，而团队自家的新发布Vicuna模型则以330亿参数冲至第五，展现了开源模型的强劲实力。除了增加了更多模型和评价标准之外，团队还推出了更新的Vicuna-v1.3系列模型，并公开了权重。
全新的评价机制MT-bench被引入，以评估LLM的人类偏好。这项机制旨在弥补传统基准测试不足的地方，如封闭式问题测试提供有限输出作为评价。研究表明，使用GPT-4作为评判者与专家组和众包组人类裁判一致性高达80%以上，这为LLM评判者提供了可扩展、可解释性的优势。
然而，LLM评判也有其局限性，比如位置偏差、冗长偏差、自我增强偏差和推理能力有限。此外，不同LLM评判者的立场也存在不同程度的偏见。为了缓解这些限制，研究提出了多种策略，如少样本评判、思维链评判等。
结果显示，MT-Bench有效地区分了不同能力的LLM之间性能差异，而且与Chatbot Arena Elo得分高度相关。对于几个有代表性的LLM，它们在特定类别下的表现分析也揭示出开源模型仍需改进空间。而且，在多轮对话中的得分分析中，也发现专有模型保持了一致性，而开源模型在第一轮和第二轮间显著下降。
此外，用LLM进行判断还有一个优点，那就是它们可以提供可解释的结果，使得人类能够更明智地做决策。此次更新不仅带来新的排名，更重要的是，为未来聊天机器人领域提供了一套全新的评价标准——MT-Bench，同时计划发布对话数据供研究社区使用，并正在积极扩展问题集以建立更丰富的数据集。在这个不断发展的大环境中，每一次更新都为我们打开了解决方案之门，让我们期待未来的探索与突破！
