2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高层包括 Sam Altman 及其他 20 位开发者进行的闭门讨论中透露的一些关键信息，显示了 OpenAI 未来发展的重要方向。首先，该讨论强调了当前 OpenAI 面临的一个主要挑战：GPU 资源严重不足，这导致了他们许多短期计划的推迟。用户对 API 的可靠性和速度表示担忧，而 Sam Altman 承认并解释称大部分问题都源于 GPU 短缺。
此外，尽管 OpenAI 即将实现10万-1M代币上下文窗口，但更长的 32k 上下文还无法广泛推广。这是因为 OpenAI 还没有解决 O（n^2）的注意力扩展问题，因此即使在今年内也只能实现较小规模的上下文窗口扩展。而微调 API 目前同样受到 GPU 可用性的限制，他们尚未采用有效的微调方法，如适配器或洛拉，因此微调运行和管理极为计算密集型。
未来，OpenAI 计划提供更好的微调支持，并可能主办社区贡献模型市场。此外，由于专用容量产品受限于 GPU 可用性，客户需要预先承诺10万美元支出才能访问此服务。
Sam 分享了他认为 OpenAI API 长期路线图如下：
2023年：
更便宜、更快的 GPT-4 是他们目前重点任务。
将继续努力降低“智能成本”，使 API 成本更加合理。
提高上下文窗口长度至100万令牌。
扩展微调功能到最新模型，但具体形式待定，以满足开发者的需求。
实现有状态 API 版本，使得每次调用时不必反复传递对话历史并支付费用。
2024年：
多模态功能作为 GPT-4 版本的一部分进行演示，但由于 GPU 缺乏，在更多资源投入后才能向所有人开放。
值得注意的是，即便开发者对通过 API 访问 ChatGPT 插件感兴趣，Sam 表示这些插件不会很快发布。他提醒人们很多人认为他们希望在应用程序中使用 ChatGPT，但实际上他们真正想要的是在应用程序中包含 ChatGPT 的能力。同时，对于担心当 OpenAI 发布竞争产品时会被迫使用其 API 的开发者而言，Sam 强调 OpenAI 不会发布除 ChatGPT 之外的大多数产品，因为伟大的平台公司往往拥有杀手级应用程序，而 ChatGPT 正是为了成为工作中的超级智能助手而设计，它将允许平台改进其 API。
最后，不仅 Sam 呼吁对未来模型实施监管，而且他坚信开源对于 AI 发展至关重要。他表明虽然仍有疑虑是否有足够的人员和机构能够托管和维护大型 LLM，但 OpenAI 正考虑开源 GPT-3。但这项决定尚未最终确定。此外，他指出模型性能扩展定律仍然有效，即使巨型 AI 模型时代似乎已经结束，这并不意味着我们距离构建全能机器人（AGI）就要近似。在缩放假设的情况下，我们可能已经具备构建 AGI 所需的大部分关键技术，只是在数据量和模型规模方面进行进一步优化。如果这一理论正确，那么时间表可能比预想地要紧迫。
