2024-12-26 科技 0
盘古：中文AI之门，开启企业级应用新篇章
在科技公司的竞争日益激烈的背景下，中文预训练语言模型盘古问世，为解决GPT-3落地难题提供了新的希望。作为一个千亿参数的中文大模型，盘古凭借其独特的设计和研发理念，专注于企业级应用场景。
据了解，盘古模型是华为云和循环智能联合开发，由鹏城实验室提供算力支持。它拥有1100亿密集参数，并且经过40TB行业文本数据和超过400万小时行业语音数据的精心训练。这一努力旨在克服GPT-3在商业应用中的不足。
「GPT-3是一款学术界的大作，但在落地过程中仍然面临许多问题。」杨植麟说。「这些问题包括少样本学习能力不足、微调不友好以及缺乏领域知识融合能力。我们发现，在实际商业场景中，这些限制使得GPT-3难以直接发挥其强大能力。」
为了打破这一局限性，循环智能团队采取了两种策略。一是利用迁移学习技术，使得盘古能够更好地利用任务之间的相似性进行少样本学习；二是在微调框架中融入P-tuning、priming等最新技术，以进一步提升微调效果。
通过这两种策略的结合，以及元学习方式在任务间进行迁移，从而实现了比之前模型更好的少样本学习结果。在复杂商用场景下的实测显示，即使是在极少量样本的情况下，盘古也能达到或超越其他同类模型，如BERT系列、RoBERTa及CNN等。
此外，与GPT-3不同的是，盘古从一开始就针对企业级应用场景进行设计与研发，它不仅要具备强大的语言理解能力，还需要能够快速适应不同的行业知识库，以实现基于行业知识的精确理解与预测。此举为解决现有NLP系统无法有效融入领域专业知识的问题提供了解决方案。
总之，盤古雖然承襲了一些先進技術，但卻對於實際應用的需求進行深度思考，並且設計了一套更加專業化、高效率的人工智慧解決方案，這讓它成為企業級應用市場上的一項重要力量。
