2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高层包括 Sam Altman 及其他 20 位开发者进行的闭门讨论中透露的一些关键信息，显示了 OpenAI 未来发展的重要方向。首先，该讨论强调了当前 OpenAI 面临的一个主要挑战：GPU 资源严重不足，这导致了他们许多短期计划的推迟。用户对 API 的可靠性和速度表示担忧，而 Sam Altman 承认并解释称大部分问题都源于 GPU 短缺。
此外，尽管即将实现 32k 上下文长度，但这还无法广泛应用给更多人，因为 OpenAI 目前尚未克服 O(n^2) 注意力扩展的问题。因此，他们虽然预计今年能实现10万-1M代币上下文窗口，但任何更大的解决方案都需要进一步的研究突破。此外，微调 API 目前也受到 GPU 可用性的限制，并且目前没有有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖计算密集型。在未来，将提供更好的微调支持，并可能会主持一个社区贡献模型市场。
对于专用容量产品，由于受限于 GPU 可用性，OpenAI 为客户提供私人模型副本，但要访问这一服务，客户必须预先承诺10万美元支出。
Sam Altman 分享了他认为 OpenAI API 的临时近期路线图：
2023 年：
更便宜、更快的 GPT-4 是他们首要任务。
继续努力降低“智能成本”，以使 API 成本更加合理。
长度上下文窗口可能达到100万令牌。
微调 API 将扩展到最新模型，但形式取决于开发者的需求。
实现一个有状态的API版本，以记住对话历史记录，不再需反复传递相同内容付费。
2024 年：
多模态功能作为 GPT-4 版本的一部分进行展示，但在更多 GPU 上线之前不能扩展到所有用户。
值得注意的是，对插件通过API访问 ChatGPT 的兴趣普遍存在，但是 Sam 表示这些插件不会很快发布。他建议很多人认为他们希望在自己的应用程序中有 ChatGPT 功能实际上是想要 ChatGPT 在它们应用中的功能。同时，他强調OpenAI將避免與他們客戶競爭，並且ChatGPT不會成為他們產品之外的大量產品，這樣可以讓他們通過成為自己產品客戶來改進API服務。
关于监管与开源的问题，Sam 呼吁对未来的模型进行监管，同时表达了他对于开源重要性的信念，并表示 OpenAI 正在考虑开源 GPT-3。但由于怀疑是否有足够的人员和公司能够托管和服务大型 LLM，所以目前尚未开源。此外，他指出关于巨型 AI 模型时代结束的声音并不准确，因为根据内部数据显示，即使规模化仍然起作用，大型模型性能仍将继续提高。这意味着缩放假设，即我们已经具备构建 AGI 所需的大部分基础，并且剩余工作可以通过现有方法向更大的数据集和模型延伸，是合理的。如果缩放定律继续成立，那么时间表可能会更加紧迫。
