2024-12-26 科技 0
盘古:中文大模型的企业级应用专家
在语言理解测评基准CLUE中,一个名为“盘古”的NLP模型最近一举成名,在总榜、阅读理解排行榜和分类任务排行榜上都取得了第一名。这个模型是由华为云和循环智能联合开发,拥有1100亿密集参数,是业界首个千亿参数的中文大模型。
为了克服GPT-3落地难题,这个模型采用了一种元学习的方式来实现少样本学习,并且融入了P-tuning、priming等最新微调技术。与GPT系列和BERT系列相比,盘古在少样本场景下的学习能力显著提高,更能够适应复杂商用场景。
此外,盘古还解决了GPT-3无法将大量外部知识接入AI流水线的问题,从而使得它能更好地融合领域知识,为实时辅助场景提供更加精确的推荐和解释。
总之,盘古作为一个深耕NLP企业服务团队看来的结果,它不仅克服了GPT-3在少样本学习、微调以及融合领域知识方面的问题,而且还实现了近10倍的生产效率提升,使其成为行业内首个真正适用于企业级应用的大型预训练语言模型。