2025-01-28 数码 0
中国科普网：李冬梅、核子可乐 探秘 OpenAI 近况与未来蓝图，创始人 Sam Altman 与 Humanloop CEO Raza Habib 等 20 位开发者闭门交流
据报道，近日，OpenAI 创始人Sam Altman与Humanloop CEO Raza Habib以及其他20位开发者进行了一场密集的面对面交流会。HumanLoop是一家专注于帮助开发者在大型语言模型上构建应用程序的公司。在这次闭门会议上，Altman展现出了开放的心态，与参与人员深入探讨了OpenAI的近期状况和未来的规划。
虽然这次交流内容被Raza Habib记录并在网络上公开，但随后受到了OpenAI要求删除。这个删帖行为引发了外界强烈好奇和质疑，有网友指出：“一家从互联网收集信息做产品的公司，却要求从互联网‘删除’一篇文章，这种行为真的很讽刺。”
有人猜测OpenAI删帖是因为不希望公开讨论一些重要规划，而另一些人认为这是炒作，有些甚至认为由于GPU资源限制导致短期计划推迟，并且API可靠性问题。此时Altman解释称主要问题来自GPU供应不足。
对于GPU资源不足的问题，OpenAI还没能解决O(n^2)注意力扩展问题，因此尽管预计今年内实现10万到百万级token的上下文窗口，但进一步扩展需要突破性的研究支持。而微调API目前同样受到GPU资源限制，未来微调支持效果将更佳，并可能为社区贡献模型设立专门市场。
除了这些挑战之外，大型语言模型和AIGC的大爆发使得各个AI企业对于GPU需求变得更加紧迫。英伟达高端芯片价格已达到数万元，每块H100 GPU超过3万美元。此外，Meta和微软也成为今年英伟达最大的买家之一（Meta可能排名第一）。
因此，对于Sam Altman来说，他表示OpenAI也很缺乏GPU。这就是为什么2023年被定为发展关键的一年，他们有令人兴奋的计划和目标，比如价格更低、速度更快的GPT-4，以及控制API价格，以降低“智能实现成本”。未来还有更多期待，如长上下文窗口、微调API版本，以及有状态API等。但在GPU资源有限的情况下，这些功能无法全面开放给所有用户。
此外，在2024年，将迎来多模态性的全方位尝试，即处理文本、图像、音频及视频等多种输入数据类型。不过，由于当前仍然存在着大量未解决的问题，这项功能尚需时间来完善。
最后，对于开源的问题而言，一方面呼吁监管机制，同时保持信念，即当前没有风险，只是担心绝大多数个人或企业不能托管运行如此巨型语言模型。至于超大规模模型时代是否终结？根据内部数据表明，它们遵循扩展定律，即越大的模型性能越高，但这种增长速度难以持续。一旦确定这一点，就对通用人工智能（AGI）的发展时间表产生重大影响。
