2025-01-28 数码 0
风力发电般频繁的话语，李冬梅与核子可乐的探索：OpenAI 近况与短期路线图遭删帖引发公众好奇
在Humanloop CEO Raza Habib和20位开发者的面对面交流中，OpenAI创始人Sam Altman展现了开放的心态，讨论内容既包括开发者实际问题，也涉及商业竞争、AI监管和开源等话题。然而，这次闭门交流的重点内容被Raza Habib记录并分享，但随后因OpenAI要求，被迫删除。
这背后的原因引起外界广泛猜测，有网友认为是因为OpenAI不希望公开谈论一些公司重点规划；也有观点指出有炒作嫌疑，因为GPU不足已经不是秘密，而英伟达股价也证明了这一点。Altman在讨论中证实，目前OpenAI正受到严重限制的GPU资源影响，不少短期计划已推迟，大客户抱怨API可靠性和速度表现。
Altman承认主要问题源自GPU供应不足，并解释了近期32k上下文窗口无法全面推广，以及未能克服O(n^2)注意力扩展问题。微调API同样受限于GPU资源，未来可能会通过Adapters或LoRa等高效方法得到改善。
专用容量产品价格昂贵，每个客户需要预先支付10万美元。此外，由于大语言模型和AIGC的大爆发，每家企业对于GPU需求日益紧迫，即便是马斯克也购买了3万多块H100 GPU芯片，每个超过3万美元。
2023年被定为重要的一年，GPT-4将成为接下来首要任务之一，同时目标是降低“智能实现成本”，控制API价格。此外，将来还会发布能够记住对话历史记录的有状态API版本，以及多模态功能支持。但由于当前仍然缺乏足够的GPU资源，这些功能只能部分展示而非普及给所有用户。
插件市场匹配尚未完成，因此不会很快加入API。在浏览简单场景之外，还需找到理想产品市场契合点。而对于担心新成果可能构成竞争关系的问题，Altman强调不会发布除ChatGPT以外其他产品，以确保客户安全地使用其服务。他同时呼吁对未来模型进行监管，但不支持粗暴封禁，并重申开源重要性的信念，对考虑开源GPT-3模型表示出了积极态度。
尽管文章宣称“超大规模 AI 模型时代终结”，但内部数据表明性能仍遵循扩展定律，即扩大模型规模将带来更高性能。不过，该定律仅意味着每年增加1到3倍，而非之前迅速跨越几个数量级。这对于AGI（通用人工智能）的发展时间表具有重大影响。如果扩展时代真的结束，那么我们必须重新探索通往AGI前进方向。
