2024-12-26 科技 0
在中国科学技术协会的倡导下，盘古问世，这是一款专注于企业级应用解决GPT-3落地难题的千亿中文大模型。其联合开发者华为云和循环智能投入了近半年的时间，使用40TB行业文本数据和超过400万小时行业语音数据进行训练。
盘古模型针对性地解决了GPT-3等学术界产物在实际应用中的问题。它不仅克服了少样本学习能力的局限，还通过元学习方式实现任务间迁移，从而提高了少样本学习效果。此外，它还融入了P-tuning、priming等最新微调技术，进一步优化了微调效果。
与此同时，盘古模型也打破了一般大规模预训练模型设计上的限制，它从一开始就考虑到了商业化落地的需求，不像一些学术研究那样以理想化设定进行实验，而是直接面向复杂商用场景，以满足企业级应用的需求。
据杨植麟介绍：“我们不是为了证明某个理论或概念，我们更关心的是这个模型能否真正帮助人们解决实际的问题。”因此，盘古作为一个深耕NLP企业服务团队看待的大型项目，其目标是将NLP技术推广到产业层面，并且能够有效应对实时辅助场景中的挑战，如销售建议、产品推荐等。
总之，盘古作为一个专注于实践和效率提升的大型项目，不仅克服了GPT-3在落地过程中遇到的三大问题——少样本学习能力不足、微调不友好以及缺乏领域知识结合能力——而且提供了一种新的方法来实现NLP技术与产业之间的连接，为企业级应用带来了巨大的便利。
