2025-01-28 数码 0
科协的力量究竟有多大？OpenAI 创始人Sam Altman与 Humanloop CEO Raza Habib及20位开发者进行了闭门交流，探讨了OpenAI的近况与未来规划。HumanLoop是一家帮助开发者在大语言模型上构建应用的公司。
参与此次交流会的开发者表示，Altman展现出了开放的心态，讨论内容既涉及开发者面临的问题，也延伸到了商业竞争、AI监管和开源等问题。此次对话重点被Raza Habib记录并公布，但随后因OpenAI要求删除，这引发了外界强烈好奇和质疑。
网友纷纷猜测OpenAI删帖原因，有人认为是因为不希望公开谈论一些公司重点规划，而另一些人则认为这是炒作行为。实际上，OpenAI正受到GPU资源严重限制，其短期计划已被推迟，大客户抱怨API可靠性和速度表现。Altman认同这些意见，并解释主要问题来自GPU供应不足。
尽管10万到百万级token上下文窗口预计今年内实现，但进一步扩展需要突破性研究。此外，微调API目前也受限于GPU资源。大型语言模型和AIGC的大爆发导致各企业对于GPU需求比以往任何时候都要紧迫。英伟达高端GPU芯片价格达到数万元，每台购买价格可能超过数十万元。
马斯克曾表示他为新创X.AI购买了3.5万块H100 GPU，每块超过30,000美元。此外，Meta和微软是今年英伟达最大的买家之一（Meta可能排名第一，因为Facebook、Instagram、WhatsApp和Messenger应用程序中有很多依赖于GPU增强的事物）。
因此，从Sam Altman的话语中可以看出OpenAI缺乏GPU。这也是为什么2023年被定为重要一年，他们有一些令人兴奋的计划，如GPT-4降低“智能实现成本”，更长上下文窗口、高效微调方法以及专用容量产品。不过，由于仍然受到CPU资源限制，这些功能还未能全面推广或面向所有用户开放。
2024年将是多模态性的全年，将演示部分多模态功能，即处理多种输入数据类型。但直到解决当前CPU资源匮乏问题，这项功能才能真正面向所有用户开放。在插件方面，有些插件如ChatGPT尚未完成市场匹配，并且不会很快发布，以免动摇客户忠诚度。
尽管存在监管担忧，但Altman呼吁加以监管，同时重申开源重要意义。他表明正在考虑开源GPT-3模型，但目前还没有，因为他担心绝大部分个人和企业无法托管运行如此大型语言模型。而扩展定律仍然有效，即扩大规模带来性能提升，但是增长速度将逐渐放缓，而不是像过去那样迅速跨越几个数量级。这对AGI发展时间表具有重大影响，并预示着AGI横空出世时间也许即将到来。
