2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些内容，OpenAI 目前面临着严重的 GPU 限制，这导致了他们许多短期计划的推迟。客户最大的抱怨是 API 的可靠性和速度问题，而这些问题大部分都是由于 GPU 短缺造成。
更长的 32k 上下文还无法被广泛推广，因为 OpenAI 还没有克服 O（n^2）的注意力扩展问题，因此虽然他们将很快拥有10万-1M代币上下文窗口，但任何更大的事情都需要研究上的突破。此外，微调 API 也受到 GPU 可用性的限制，他们尚未采用有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖计算密集型资源。未来将提供更好的微调支持，并可能主持一个社区贡献模型市场。
专用容量产品也受到了 GPU 可用性的限制。为了访问此服务，客户必须愿意预先承诺10万美元的支出。Sam 分享了他认为 OpenAI 的 API 临时近期路线图。
2023 年：更便宜、更快的 GPT-4 是他们首要任务之一。在不久的将来，上下文窗口可能达到100万个令牌。而且，将来会有一个记住对话历史记录的 API 版本，以解决当前每次调用聊天 API 时需反复传递相同对话历史并多次支付令牌的问题。
2024 年：多模态功能作为 GPT-4 版本的一部分进行演示，但在更多 GPU 上线之前不能扩展到所有人。这意味着尽管这一功能已经展示给了一小群人，但是它还没准备好让大家体验。
插件不会很快出现在 API 中，因为除了浏览之外，对通过 API 访问 ChatGPT 插件感兴趣的人数并不明显。他建议很多人认为他们希望在应用程序中使用 ChatGPT，但实际上，他们真正想要的是在应用程序中的 ChatGPT 使用体验。
OpenAI 将避免与其客户竞争，不少开发人员表示，当 OpenAI 发布具有竞争力的产品时，他们会感到紧张。Sam 表示 OpenAI 不会发布以外ChatGPT以外的大量产品。他说伟大的平台公司拥有杀手级应用程序的大量历史，而ChatGPT将允许它们通过成为自己的产品客户来改进API。
ChatGPT 的愿景是成为工作超级智能助手，但还有许多OpenAI不会触及到的其他 GPT 用例。此外，虽然 Sam 呼吁对未来的模型进行监管，他相信现有模型并不危险，并认为监管或禁止它们是一个大错误。他重申了他对于开源重要性的信念，并表示 OpenAI 正考虑开源 GPT-3。不过，他怀疑是否有人和公司能托管和服务大型 LLM，这也是为什么他尚未开源这部分原因之一。
最后，由于最近一些文章声称“巨型 AI 模型时代已经结束”，而根据内部数据表明模型性能继续随着规模增长而提升，使得这样的观点是不准确的情况。这意味着缩放定律仍然有效，即使目前我们已经构建了大量所需构建AGI的大部分组成元素，它们只需要进一步扩展到更大的模型和数据集。如果缩放定律仍然成立，那么我们可以期待 AGI 时间表较短。但如果这个理论不再适用，那么我们的时间表可能更加遥远。
