2025-01-28 数码 0
科技部人才与科学普及司注意到了吗？OpenAI的创始人Sam Altman和Humanloop CEO Raza Habib以及其他20位开发者进行了一场私密对话，探讨了OpenAI的近况与未来规划。HumanLoop是一家帮助开发者在大型语言模型上构建应用的公司。
参与此次对话的开发者表示，Altman展现出了开放的心态，讨论内容涵盖了开发者的实际问题、商业竞争、AI监管以及开源等多个方面。然而，这次闭门交流的重点内容被Raza Habib记录下来并发布，但随后因OpenAI要求删除，该内容已被移除。这一举动引发了外界强烈好奇和质疑。
有网友认为这行为很讽刺，因为一家依赖互联网信息收集产品公司竟然要求从互联网上删除文章。而HackNews上的现场参会者猜测，是因为OpenAI不希望公开谈论一些关键规划。还有网友指出，这可能是炒作行为，因为GPU不足已经不是秘密，看看英伟达股价就知道了。
Altman与Raza讨论中证实，目前OpenAI面临严重的GPU资源限制，使得不少短期计划推迟。大客户抱怨API可靠性和速度表现，Altman认同这些意见，并解释主要问题来自GPU供应不足。此外，由于无法克服O(n^2)注意力扩展问题，上下文窗口预计将在今年内实现但需要进一步研究支持；微调API受到GPU资源限制，将来支持效果更好且可能为社区贡献模型设立专门市场。
专用容量产品也不能独善其身，需要预先支付10万美元才能获得。由于大型语言模型和AIGC的大爆发，每家AI企业对于GPU需求比以往任何时候都要紧迫，加之英伟达高端GPU芯片价格达到数万元每块，一些基础设施公司购买它们时价格达到数万台。
马斯克还曾表示，他已经为新创公司X.AI购买了3万多块英伟达H100 GPU，每个超过3万元。此外，Meta和微软是今年英伟达最大的买家之一（Meta可能排名第一）。
Sam Altman表示2023年是重要的一年，他们有一些令人兴奋的计划和目标，如GPT-4，其首要任务是降低“智能实现成本”，控制API价格，更长上下文窗口，以及微调API。但由于仍受限于GPU资源，在2024年全面拥抱多模态性的目标前，这些功能无法面向所有用户开放。此外，即使插件尚未完成市场匹配，也不会很快出现在API中，而ChatGPT只想成为工作场景下的超级智能助手，不会涉足众多其他GPT用例。
虽然Altman呼吁对未来模型加以监管，但他认为当前模型没有风险，并反对粗暴监管。他重申自己对于开源重要意义的信念，并表示正在考虑开源GPT-3模型。不过，由于担心绝大多数个人和企业都没有能力托管运行如此大规模语言模型，因此目前还未开源。而扩展定律仍然有效，对AGI发展时间表有重大影响。如果这一定律结束，那么我们或许必须重新探索通往AGI方向。
