2024-11-17 手机 0
在人工智能领域，Transformer架构一直被视为关键技术之一，其对于推动通用大模型的发展起到了举足轻重的作用。然而，随着技术的不断进步，对于Transformer架构的效率和性能提升也提出了新的挑战。
近日，国内领先的AI企业彩云科技在北京总部举办了一场主题为“From Paper to App”的沟通会，CEO袁行远在会上深入探讨了通用大模型的未来进化之路，并展示了公司最新的研发成果。
彩云科技在国际机器学习领域的会议ICML上发表了全新大模型论文，提出了创新的DCFormer架构。该架构通过动态组合的多头注意力机制，显著提升了模型的表达能力和运行效率。据袁行远透露，基于DCFormer架构打造的模型在性能上实现了对Transformer模型的1.7-2倍提升，这一突破性的进展为人工智能的发展注入了新的活力。
随着通用大模型的规模不断扩大，其对于能源的需求也日益增长。袁行远在会上指出，AI的能源困局已经成为业内共识，而改善大模型底层架构、提升运行效率是解决这一问题的关键路径。彩云科技的DCFormer架构正是在这一背景下应运而生，旨在通过技术创新降低AI的能耗，推动人工智能的可持续发展。
在沟通会上，彩云科技还正式推出了首款基于DCFormer架构的通用大模型——云锦天章。袁行远介绍称，该模型以高雅、华美的文章为寓意，具备在虚构世界观基础上赋予小说人物基础能力、高速扩写缩写文章等强大功能。同时，云锦天章还兼具问答、数学、编程等基础能力，为用户提供了更为丰富和智能的体验。
彩云科技旗下的AI RPG平台彩云小梦也迎来了全新升级。基于DCFormer架构的彩云小梦V3.5版本在流畅性、连贯性、记忆能力和逻辑性等方面均实现了显著提升。新版本支持更长的前文长度和故事背景设定，使得人工智能在故事创作和对话中能够更好地理解和记忆上下文信息，提供更加智能和个性化的服务。
袁行远表示，彩云科技将继续加大对DCFormer架构的研究和投入，以推动公司在人工智能领域的持续创新和领先。他相信，随着技术的不断进步和应用场景的不断拓展，基于DCFormer架构的通用大模型将在未来发挥更加重要的作用。
