科技奇迹大模型对决清华闪耀第五智慧之光照亮未来

【科技奇迹：大模型对决！清华闪耀第五，智慧之光照亮未来！】

自GPT爆火之后，当下流行的开源大型语言模型越来越多。LMSYS 组织（UC伯克利博士Lianmin Zheng牵头举办）建立了 Chatbot Arena 基准平台通过匿名随机竞争来评估他们，随后发布Elo 等级排行榜，排行榜至现在仍在定期更新，期待更多的用户贡献模型，进行投票，开发者们也可以参与进来！

开源大模型太多？LMSYS Org 直接建立了一个竞技场，以众包方式让他们匿名、随机的进行对抗，形成排行榜。并邀请整个社区加入这项工作，贡献新模型，每个人都可以参与提问和投票来评估它们。

图 3：前 15 种语言的战斗计数

还在所有数据中描绘了语言分布，大多数用户提示都是英语。

玩家的评分可以在每场战斗后线性更新。假设玩家 A（具有 Rating Ra）被期望得分 Ea 但实际得分 Sa 。更新玩家评分的公式是：

使用收集到的数据计算该笔记本中模型的 Elo 评分，并将主要结果放在表 1 中。欢迎大家自己尝试使用投票数据来计算评分。

双赢率作为校准基础，还展示了锦标赛中每个模型成对获胜率（图 4）以及使用 Elo 预测成对获胜率（图 5）。通过比较数据发现 Elo 可以相对较好地预测胜率。

计划：

添加更多闭源模式。

添加更多开源模式。

发布定期更新排行榜。

实施更好的采样算法、锦标赛机制和服务系统以支持更多模仿。

提供不同任务类型细粒度排名。

希望所有用户能进行反馈，以使竞技场变得更好。LMSYS 组织邀请整个社区通过贡献各自的模仿并为能提供更好答案匿名模仿投票加入这项基准测试工作。参与者可以访问 https://arena.lmsys.org 为更好的模仿投票。如果想在竞技场查看特定模仿，可以按照指南添加它。

演示：https: //arena.lmsys.org

排行榜：https: //leaderboard.lmsys.org

GitHub: https://github.com/lm-sys/FastChat

Colab 笔记本：https://colab.research.google.com/drive/1lAQ9cKVERXI1rEYq7hTKNaCQ5Q8TzrI5 ?usp=sharing