2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关于 OpenAI 未来开发工作内容。关键要点如下：
首先，OpenAI 目前受到 GPU 严重限制，这在整个讨论过程中成为一个共同主题之一。由于 GPU 的有限性，一些短期计划被推迟，而客户最大的抱怨是 API 可靠性和速度问题。Sam 承认了这些担忧，并解释说大部分问题都是由 GPU 短缺导致的。
其次，尽管即将到来的 32k 上下文还不能广泛推广给更多人，但 OpenAI 还没有克服 O(n^2) 注意力扩展的问题，因此虽然他们很快就会有10万-1M 代币上下文窗口（今年），但任何更大的事情都需要研究突破。
再者，微调 API 目前也受限于GPU可用性。大部分微调方法，如适配器或洛拉尚未被有效使用，因此微调运行和管理非常依赖计算密集型资源。在未来，将提供更好的微调支持，他们甚至可能主持一个社区贡献模型的市场。
此外，专用容量产品同样受限于GPU可用性。OpenAI 提供专用容量，为客户提供模型的私人副本。但要访问此服务，客户必须愿意预先承诺10万美元的支出。
接下来，是 Sam 分享的他认为 OpenAI 的API临时近期路线图：
2023年：更便宜、更快的 GPT-4——这是他们首要任务。一系列目标包括降低“智能成本”，因此随着时间推移，他们将努力继续降低 API 的成本。此外，更长上下文窗口可能达到100万令牌；Finetuning API 将扩展到最新模型，但具体形式取决于开发人员表示他们真正想要什么；还有一个有状态的 API 版本，将记住对话历史记录，以避免今天调用聊天 API 时反复传递相同对话历史并支付相同令牌。
2024年：多模态功能——这作为 GPT-4 版本的一部分进行了演示，但在更多 GPU 上线之前无法扩展到所有用户。
最后，不会很快出现插件在 API 中。这是因为许多开发人员对通过 API 访问 ChatGPT 插件感兴趣，但 Sam 表示这些插件不会迅速发布。他建议人们认为他们希望应用程序中的 ChatGPT 实际上只是希望它们存在于应用程序之中而已。当 OpenAI 发布具有竞争力的产品时，对使用 OpenAI API 构建感到紧张的人也不少。但 Sam 强调OpenAI不会发布除了 ChatGPT 之外的大量产品，因为伟大的平台公司往往拥有杀手级应用程序。而 ChatGPT 将允许它们通过成为自己产品客户来改进API。ChatGPT 的愿景是成为工作超级智能助手，但还有许多其他 GPT 用例不涉及ChatGPT。
值得一提的是，由於监管呼声不断增强，同时保持开源重要性的信念，Sam 呼吁对未来的模型进行监管，同时强烈表达了他对于现有模型安全性的信念，他相信现有的模型并不危险，并且禁止它们是一个错误。此外，他重申了开源重要性的信念，并表示Open AI 正在考虑开源 GPT-3。不过，由於怀疑是否有人能托管和服务大型 LLM，这一决定尚未落定。
最后，从内部数据看来，对巨型 AI 模型性能增长法则仍然有效，即使有一些文章声称“巨型 AI 模型时代已经结束”。实际情况显示，每当我们将规模增加几倍，就会看到相应性能提升。这意味着尽管目前每年的增长速度不可持续，但是这个趋势仍然证明缩放假设成真。如果缩放定律继续成立，那么 AGI 开发时间表就更加紧迫，因为它暗示我们距离构建AGI只差一步远，而不是几个步骤后才能实现。
