2025-01-22 科技 0
在全球科技界的新篇章中，OpenAI于去年推出了一个名为ChatGPT的革命性聊天机器人模型，它不仅能理解和生成类似人类语言，还在多种自然语言处理任务上表现出色。据统计，ChatGPT仅上线两个月，就已经拥有超过亿级活跃用户，这一成绩甚至打破了TikTok创造的9个月时间内达成同样用户规模的纪录。连埃隆·马斯克也对ChatGPT表示了惊叹，并宣布自己计划成立研究实验室，开发与之竞争的AI产品。
随着国内外资本市场和创业者们纷纷关注并投入到类似的技术领域，阿里、百度等互联网巨头，以及科大讯飞这样的语音AI企业，都希望抓住这一新的风口迅速发展。前美团联合创始人王慧文、出门问问CEO李志飞、搜狗前CEO王小川以及京东前CTO周伯文等行业巨擘，也纷纷加入这个追逐场景。
然而，我们是否能够迅速看到一个“中国版本”的ChatGPT？谁又能成为这个细分赛道中的领头羊？
开发出比肩ChatGPT的模型并不简单，它需要面临大量挑战。在深入了解这些挑战之前，让我们先来看看OpenAI发布过哪些与ChatGPT相关的模型。首先有GPT-1发布于2018年6月，其包含117M个参数，是第一个采用基于Transformer架构进行预训练的大型语言模型。这款模型在语言理解和单词相似性任务中表现突出。
紧接着是GPT-2发布于2019年2月，其参数量为1.5B，在自然语言生成任务上显示出了超越以往任何一种系统或算法能力，可以生成高质量文章、新闻报道乃至诗歌等各种类型文本。此后，再次升级为更强大的175B参数规模，即现在流行的ChatGPT模式，但实际内部代号是text-davinci-003 175B和text-chat-davinci-002-20221122，是基于改良后的3.5版本基础上的进一步优化。
为了研发出这样高质量的人工智能系统，我们必须考虑三个关键技术挑战：数据量、大规模计算能力以及算法优化。
首先是数据量问题，对于类似于中文版ChatGPT这样的项目来说，所需数据集要更加庞大且多样化，以涵盖所有可能出现的情境。这要求大量时间资源去收集整理标注这些数据，同时还需要海量存储空间来保存这些信息。而对于像维基百科这样的英文数据库来说，只有300亿个token，而我们的目标是使用数倍以上大小范围内中文语料，这对于绝大部分机构来说是一个难以逾越的大山。
其次是在计算能力方面，要想完成如此庞大的训练工作，不仅需要海量算力，而且还需要高速网络连接及高容量存储设备，以便支持快速访问及传输这批数据。在此基础之上，还需结合集群拓扑结构进行针对分布式训练策略调整提升硬件利用率通讯效率缩短整体训练时间。如果依赖美国制GPU而受到限制，那么探索国产算力服务平台将变得尤为重要，如北京智源研究院就早已开始探索使用国产平台进行此类培训工作，并取得了显著效果，比如通过曙光提供的一种服务可以缩短从300B tokens到175B参数规模模型训练周期，从50天减少到了29.10天，大幅提升了效率。
最后，在算法优化方面，每一次迭代都是对原有方法的一个改进过程。这包括不断地调整学习率批大小层数，或应用自动调参技巧经验，使得整个系统能够稳定快速地收敛达到最佳状态。不论是在国际还是国内，最终实现这一点都不是一蹴而就的事情，而是一项长期积累精髓的手艺工作，与烹饪一样，一顿饭成功背后隐藏着几十年的实践积累经历。在这条道路上，无论如何都是充满希望与期待，因为未来总会有更多未知值得探索，更好的技术待发现，更强大的AI产品待诞生。
— 完 —
