2024-12-26 科技 0
在科技文明的新篇章中，盘古问世，以千亿参数的中文大模型为企业级应用提供了强劲支持。由华为云和循环智能联合开发，鹏城实验室提供算力支持，这款模型正是为了克服GPT-3落地难题而生。
在CLUE（中文语言理解评测基准）上，盘古不仅稳坐总榜、阅读理解排行榜和分类任务排行榜第一位置，其得分甚至比第二名高出一个百分点。这种业界首个千亿参数的中文大模型，不仅展示了其强大的预训练能力，还凸显了其对商业场景的适应性与实用性。
为了训练这个模型，研究团队花费近半年的时间，将40TB行业文本数据和超过400万小时行业语音数据输入系统。这一努力旨在解决GPT-3面临的一些问题，比如少样本学习能力不足以及微调效果有限。
根据杨植麟的话，在实际应用中，大规模预训练模型虽然非常强，但往往缺乏针对特定商业场景的细致调整，因此很难直接用于复杂环境。此外，由于这些模型通常以通用化数据集进行训练，它们对于实际业务需求中的特殊情况并不够灵活。
相比之下，盘古作为一个深耕NLP企业服务团队共同研发的大型项目，它从一开始就设计着商业化落地的目标。在面对复杂商用场景时，该模型展现出了更好的少样本学习能力，以及更为精准微调技术，使其能够更好地融入领域知识并实现基于行业知识精确理解与预测。
例如，在教育辅导或销售推送等实时辅助场景中，盘古能够将大量外部知识接入AI流水线，从而提升销售效率或学生学习成果。这种结合通用AI能力与行业知识库，更贴合实际应用需求，为用户带来更加个性化、智能化服务体验。
综上所述，“盘古”通过创新性的技术路线，如元学习和最新微调框架，不仅克服了GPT-3等大规模预训练语言模型在落地过程中的局限，而且提高了它们在生产环境下的使用效率，为企业级应用提供了一套完善且可靠的手段。
