2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关于 OpenAI 未来开发工作内容。关键要点如下：
首先，OpenAI 目前受到 GPU 严重限制，这在整个讨论过程中成为一个共同主题之一。由于 GPU 的有限性，一些短期计划被推迟，而客户最大的抱怨是 API 可靠性和速度问题。Sam 承认了这些担忧，并解释说大部分问题都是由 GPU 短缺导致的。
其次，尽管即将到来的 32k 上下文还不能广泛推广给更多人，但 OpenAI 还没有克服 O（n^2）的注意力扩展，所以虽然他们很快就会有10万-1M代币上下文窗口（今年），但任何更大的事情都需要研究突破。此外，微调 API 目前也受限于GPU可用性，他们还没有使用有效的微调方法，因此微调运行和管理非常依赖计算密集型。在未来，将提供更好的微调支持，并可能主持社区贡献模型的市场。
再者，OpenAI 提供专用容量产品，为客户提供模型的私人副本，但这项服务受到GPU可用性的限制。客户必须预先承诺10万美元支出才能访问此服务。
至于近期路线图，由 Sam 分享，他认为 OpenAI 的API临时近期路线图包括：
2023年：更便宜、更快的 GPT-4——这是他们首要任务。这意味着目标是尽可能降低“智能成本”，因此随着时间推移，他们将努力继续降低 API 的成本。此外，更长上下文窗口在不久后可能高达100万令牌；Finetuning API 将扩展到最新模型，但具体形式取决于开发人员表示他们真正想要的是什么；以及一个有状态的 API，将记住对话历史记录，以解决当前每次调用聊天 API 时必须反复传递相同对话历史并支付相同令牌的问题。
2024年：多模态功能作为 GPT-4 版本的一部分进行了演示，但在更多 GPU 上线之前无法扩展到所有人。这是因为目前多模态功能仍然受到GPU数量限制，不得不等待更多资源投入以实现全面开放。
值得一提的是，在接下来的几个月里，我们不会看到插件通过API直接访问 ChatGPT，因为许多开发人员对通过API访问ChatGPT插件感兴趣。但 Sam 表示他认为这些插件不会很快发布，因为除了浏览之外，还表明它们还没有获得足够的人气，即所谓PMF。他建议很多人认为他们希望应用程序中的 ChatGPT，但实际上他们真正想要的是在应用程序中使用 ChatGPT。
同时，对于一些担心当OpenAI发布竞争产品时会影响用户选择使用API进行构建的情况，Sam表示OpenAI不会发布除ChatGPT以外的大型产品。他指出伟大的平台公司往往拥有杀手级应用程序，而且ChatGPT可以帮助改进API。
最后，与监管方面相关的问题，上述讨论中提到了需要监管未来的模型，但是同样强调了开源重要性的信念，并且表明OpenAI正在考虑开源 GPT-3。不过，由于是尚未开源，也许原因之一是怀疑是否有人或公司能托管和服务大型 LLM。
总结来说，有关巨型 AI 模型性能扩展定律持续有效这一观点引起了一定的争议，有些文章声称“巨型 AI 模式时代已经结束”。然而，从内部数据看，这个理论依旧成立，使得模型变得越来越大能够产生性能提升。而这种持续增长的事实对于 AGI 开发时间表具有重大影响。如果这个假设正确，那么我们应该期待AGI会更加迅速地出现。但如果缩放假设已经结束，那么我们或许应该调整我们的预期。在这种情况下，如果规模化时代已经过去，那么我们就不得不期待AGI会比想象中更加遥远。
