2025-01-28 数码 0
李冬梅、核子可乐的探索：OpenAI 的近况与未来蓝图
在一场密闭的对话中，OpenAI 创始人Sam Altman与Humanloop CEO Raza Habib以及其他20位开发者深入探讨了OpenAI的发展轨迹。HumanLoop是一家致力于帮助开发者利用大型语言模型进行应用构建的公司。
参与此次交流会的一位开发者表示，Altman展现出了开放的心态，他不仅关注解决开发者的实际问题，还涉及商业竞争、人工智能监管和开源等更广泛的话题。此次对话的关键内容由Raza Habib记录并分享，但随后因OpenAI要求而被删除，这引发了外界对该决定背后的原因和含义的大量猜测。
有观点认为删帖可能是为了避免公开讨论一些敏感或未公布的事项，而另一些人则认为这是炒作行为，因为GPU短缺已经成为公开知识之一。事实上，Altman在会谈中证实了目前面临GPU资源严重限制的问题，这导致了一些计划推迟，并且几家重要客户抱怨API性能不足。
尽管32k上下文长度尚待实现，但当前仍然面临O(n^2)注意力扩展挑战。此外，由于还未采用Adapters或LoRa等高效微调方法，微调API也受限于GPU资源。在未来的规划中，预计将提供专门市场，为社区贡献模型。
随着大型语言模型和AIGC技术爆炸性的增长，对GPU需求变得前所未有的紧迫。英伟达高端芯片价格飙升至数万美元，而基础设施公司购买它们时成本达到数千台。这也是为什么Altman强调GPU可用性如何影响OpenAI今年及以后的计划，以及2023年将是他们发展的一个关键一年，他们计划推出价格更低、速度更快的GPT-4，并逐步控制API价格以降低“智能成本”。
未来，在2024年，将全面拥抱多模态功能，使得模型能够处理文本、图像、音频和视频数据。但这需要在解决现有GPU资源限制之后才能实现。此外，有状态API也将为用户提供记忆对话历史记录，不再需要反复提交相同信息支付费用。
尽管存在担忧，有关新产品可能会直接或间接地与其客户构成竞争关系，但Altman坚称不会发布除ChatGPT之外的其他产品。他呼吁监管但同时重申开源对于未来技术进步至关重要，并表示正在考虑开源GPT-3模型，只是因为他担心个人和企业无法托管如此庞大的模型。
最后，即便有人宣称超大规模AI时代已终结，内部数据表明扩展定律仍然有效，即不断放大模型规模能带来性能提升。不过，此定律意味着AGI（通用人工智能）的时间表可能更加接近，因我们似乎拥有建立AGI所需的大部分底层技术，只需运用现有方法并扩展出更多数据集即可。如果这一假设正确，那么AGI出现不远之日就显得合理。
