2025-03-17 手机 0
智东西（公众号：zhidxcom）
作者 心缘
编辑 漠影
智东西6月1日报道，上午，在聚集了200余位国内外顶尖AI专家的2021北京智源大会开幕式上，北京智源人工智能研究院发布全球最大预训练模型——“悟道2.0”巨型模型，其参数量高达175万亿！
北京智源大会是由智源研究院主办的年度国际性AI高端学术交流会议，定位于“内行的AI会议”，旨在成为北京乃至中国AI发展的学术名片。
此次重磅发布的“悟道2.0”巨型模型，是中国首个全球最大万亿级别模型，比有1.6万亿个参数的谷歌最大模型Switch Transformer，足足多了1500亿个参数；是OpenAI GPT-3模型参数量的10倍。同时，“悟道2.0”还取得多项世界级创新突破，在预训练模型架构、微调算法、⾼效预训练框架等方面实现了原始理论创新，并在世界公认的AI能⼒排名榜单上，取得9项能⼒领先地位。
尤其值得一提的是，这个由智源副院长、清华大学教授唐杰率领中国科学家团队联合攻关的大型项目，不仅首次100%基于国产超算平台打造、运用中国技术，还将应用于新闻数字化转型，并与新华社战略合作，将悟道模式应用于新闻数字化转型；并且与其他知名公司如微软小冰公司合作，共同培养准备进入清华唐杰实验室的中国首位原创虚拟学生“华智冰”。
今年3月20日，智源研究院发布我国首个超大规模智能模型“悟道1.0”，包含中文、多模态、认知和蛋白质预测等系列模块，取得了多项国际领先的地标性突破。FastMoE技术是这次重大进展中的关键，它不仅打破了国外技术瓶颈，还实现了从几千到数十万甚至数百万级别参数数量之间的一次飞跃。
FastMoE通过引入Mixture of Experts（MoE）机制，使得神经网络能够更灵活地处理复杂任务。此前，由于谷歌独有的分布式训练框架mesh-tensorflow和定制硬件TPU，大部分人无法使用这些资源进行深度学习。这一切都改变了，因为FastMoE支持PyTorch框架，无需依赖特定的硬件即可实现大规模并行训练。
此外，“悟道文汇”和“悟道文溯”两个研究小组联合攻关开发了一套面向预训练语言模式全链路高效训练框架CPM-2。这包括最高效、中文字本体编码解决僻字问题、高效非欧空间建模减半参数量低成本推理系统，以及快速适应下游任务能力。这些创新成果使得语言理解能力提升显著，同时降低计算资源消耗。
除了今天发表演讲的小组成员Yoshua Bengio之外，该活动还邀请图灵奖得主David Patterson以及其他200余位尖端科技专家分享他们最新发现和见解。在接下来的三天中，他们将探讨如何利用人工智能来推动社会变革，也许我们可以期待更多关于航空航天领域如何利用这种技术进行革新的话题出现。
