2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关于 OpenAI 未来开发工作内容。关键要点如下：
首先，OpenAI 目前受到 GPU 严重限制，这在整个讨论过程中成为一个共同主题。他们的短期计划因此而推迟，而客户最大的抱怨是 API 可靠性和速度问题，这些大部分都是由于 GPU 短缺导致的。Sam Altman 承认了这些问题，并解释说，大部分问题都源于 GPU 短缺。
其次，尽管 OpenAI 即将拥有10万-1M令牌上下文窗口（今年），但任何更大的事情都需要研究突破。此外，他们还没有克服 O(n^2) 的注意力扩展，因此微调 API 也受到 GPU 可用性的限制。在未来，将会提供更好的微调支持，并可能主持一个社区贡献模型的市场。
再者，专用容量产品受限于 GPU 可用性。为了访问此服务，客户必须预先承诺10万美元的支出。这表明 OpenAI 提供给客户的是模型私人副本。
接下来，是 Sam 对 OpenAI 近期路线图的分享：
2023 年：更便宜、更快的 GPT-4 是他们首要任务。而总体目标是尽可能降低“智能成本”，所以随着时间推移，他们将努力继续降低 API 成本。此外，上下文窗口可能高达100万个令牌；微调 API 将扩展到最新模型，但形式取决于开发人员想要什么样的功能；还有一个有状态的 API 版本，将记住对话历史记录，以减少用户重复传递相同对话历史并多次支付费用。
2024 年，则是多模态功能作为 GPT-4 版本的一部分进行演示，但在更多 GPU 上线之前无法扩展到所有人使用。这意味着即使有了新的技术，也需要足够可用的硬件资源才能实现广泛应用。
最后，一些插件不会很快加入 API 中，因为许多开发人员对通过 ChatGPT 访问插件感兴趣，但 Sam 表示这并不容易实现。他建议很多人认为他们希望在应用程序中使用 ChatGPT，但是真正想要的是 ChatGPT 在他们应用中的表现。同时，对于担心 OpenAI 会发布竞争产品的问题，Sam 明确表示，不会发布以外的人工智能产品，只会让 ChatGPT 成为自己产品的一个重要组成部分，以改进 API 服务。此外，他呼吁监管未来的模型，同时强调开源对于提高透明度和信任至关重要，并且已经考虑过开源 GPT-3。不过，由于托管和服务巨型 LLM 的挑战，还没有决定是否开源。
值得一提的是，有一些文章声称“巨型 AI 模型时代已经结束”。然而，从内部数据来看，该规律仍然有效，即使模型变得越来越大，它们也能产生性能提升。但这种增长速度不可持续，因为过去几年内就已显著增加了模型规模。如果缩放定律继续有效，那么 AGI 开发时间表就会受到重大影响，如果不那么的话，我们可能需要重新评估 AGI 实现所需花费时间长短的情况。
