2025-01-28 数码 0
李冬梅、核子可乐的探索：OpenAI 的内幕与未来蓝图
近日，OpenAI 创始人Sam Altman与 Humanloop CEO Raza Habib以及其他20位开发者进行了面对面的闭门交流。HumanLoop 是一家专注于帮助开发者在大语言模型上构建应用的公司。在这次密集而深入的讨论中，Altman展现出了开放的心态，与参与者们分享了OpenAI的最新动向和未来的规划。
有幸参加此次交流会的开发者表示，这是一场充满激情和诚意的对话，其中不仅涉及到了实际问题，还延伸到了商业竞争、监管政策以及开源等更广泛的话题。Raza Habib记录了这次重要对话，并将其内容公布于网络。但随后，由于OpenAI要求删除相关内容，这篇文章已被移除。这一举措引发了外界对于信息控制和透明度的大量质疑。
网友纷纷猜测，为什么一个依赖互联网信息收集并提供产品服务的大型企业要从互联网上“消失”掉一篇文章？有人认为这是因为OpenAI不希望在公开场合谈论一些核心战略计划；另一些人则认为这一行为可能带有一定的炒作意味，因为GPU资源短缺已经是众所周知的事实，而英伟达股价也反映出了这一点。
就在Altman与Raza讨论时，他们共同证实了GPU资源对于OpenAI发展至关重要，但目前正遭遇严重限制。由于GPU供应不足，一些短期计划不得不推迟。而几大客户还抱怨API速度和可靠性问题，Altman承认这些挑战，并解释主要原因在于GPU供给不足。
尽管长期上下文窗口预计将实现，但突破O(n^2)注意力扩展问题仍需进一步研究。此外，微调API同样受到GPU限制，只能通过Adapters或LoRa等高效方法来提高运行效率。未来微调支持将更加完善，有望为社区贡献专属市场定制模型。
专用容量产品虽然存在，但需要预付10万美元，这让得以访问私有模型副本的客户感到经济压力巨大。在GPUs需求激增之际，每块高端芯片价格飞涨至数万美元，大规模购买已成为常态。马斯克甚至宣布为新兴初创X.AI购买3.5万块H100 GPU，每个售价超过30,000元。此外，Meta和微软也是今年英伟达最大买家之一（Meta可能排名第一）。
因此，当Sam Altman表达出他们也面临着严重的GPU短缺问题时，我们可以理解2023年作为一个关键一年，在这个期间他们计划推进多项令人振奋但又充满挑战性的项目。这包括GPT-4版本，即接下来的首要任务，以及持续降低“智能成本”的目标，使得API价格变得更加亲民。此外，上下文窗口将扩展到百万级token，而微调API将被扩展至最新模型，以适应不同的用户需求。不过，由于当前仍然无法解决CPU资源的问题，因此这些功能尚未能够全面推广给所有用户。
2024年，将是多模态技术全面融入到GPT-4中的关键一年。这意味着模型能够处理各种类型输入数据，如文本、图像、音频和视频。但是在解决当前CPU资源匮乏之前，这项功能不会对所有用户开放。此外，不少开发人员期待通过插件访问ChatGPT，但Altman强调这些插件在短期内不会发布。他解释说很多人声称希望利用ChatGPT进行应用开发，其实真正想要的是把ChatGPT整合到自己的应用中去。
最后，对于监管而言，虽然Altman呼吁加强对未来模型的监管，他认为目前没有足够理由采取过分措施。他坚信开源对于技术发展至关重要，并且正在考虑开源GPT-3模型。不过，由于担心绝大多数个人或企业无法托管如此庞大的语言模型，因此暂缓执行这一决定。如果我们相信扩展定律，那么即使超大规模语言模式时代似乎即将结束，它们仍然能够带来显著性能提升，从而促进通用人工智能（AGI）的研发前景更亮眼。
