2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些内容，OpenAI 面临着 GPU 严重限制的问题，这导致了他们短期计划的推迟。客户主要对 API 的可靠性和速度表示担忧，而这些问题很大程度上源于 GPU 短缺。
此外，由于长上下文（32k）还无法广泛应用，以及 O(n^2) 注意力扩展问题，OpenAI 目前尚未能提供更大的上下文窗口。微调 API 也受到 GPU 可用性的限制，因此未来将提供更好的微调支持，并可能鼓励社区贡献模型。
专用容量产品同样受限于GPU资源。在2023年，OpenAI 计划推出更便宜、更快的 GPT-4 版本，其目标是降低“智能成本”。此外，他们计划在不久的将来实现更长的上下文窗口和一个有状态的 API，以改善用户体验。此外，多模态功能预计将在2024年作为 GPT-4 的一部分进行展示，但由于当前 GPU 资源有限，这项功能目前只能对少数人开放。
值得注意的是，不太可能在短时间内看到插件通过 API 访问 ChatGPT，因为这需要开发人员构建 PMF（产品市场适应度）。尽管如此，Sam 表示 OpenAI 将避免与其客户竞争，并且 ChatGPT 将允许它们成为自己产品的大客户，从而提升API质量。
对于监管和开源的问题，一方面，有声音呼吁对未来模型进行监管，但另一方面，也有人认为现有模型并不危险，而且监管或禁止它们会是一个错误。Sam 强调了开源重要性，并表示 OpenAI 正考虑开源 GPT-3。这也是因为他怀疑是否有足够的人员或公司能够托管和服务大型 LLM（语言模型）。
最后，对于那些声称“巨型 AI 模型时代已经结束”的观点来说，可以从内部数据看出，实际情况并非如此。根据 OpenAI 的内部数据，无论如何，“规模化”仍然有效，即使每年的增长速度也许只是一倍或三倍，而不是数量级增长。这意味着缩放定律继续有效，对 AGI 开发时间表具有重大影响。如果这一趋势持续下去，我们可能会更加接近 AGI 的实现日期。
