2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关键信息，OpenAI 目前正面临着 GPU 缺乏问题，这导致了他们许多短期计划的推迟。客户对 API 的可靠性和速度表示担忧，而 Sam 承认并解释这些问题主要是由 GPU 短缺引起的。此外，尽管 OpenAI 即将实现10万-1M令牌上下文窗口，但更大规模的应用还需进一步研究突破。
此外，微调 API 也受限于 GPU 可用性，同时没有采用有效的微调方法，如适配器或洛拉，因此微调运行和管理依赖极高计算资源。未来预计会提供更好的微调支持，并可能推出社区贡献模型市场。专用容量产品同样受到 GPU 可用性的限制，要使用该服务客户需要预先承诺10万美元支出。
Sam 分享了他认为 OpenAI 近期API路线图如下：
2023年：更便宜、更快的 GPT-4 是他们首要任务之一。在降低“智能成本”的目标驱使下，他们将努力持续降低 API 成本。此外，将来上下文窗口可能达到100万令牌水平；Finetuning API 将扩展到最新模型，但形式取决于开发者的需求；而一个有状态的 API 版本也在规划中，以记住对话历史记录。
2024年：多模态功能作为 GPT-4 版本的一部分进行演示，但由于更多GPU尚未上线，此功能暂时无法扩展给所有用户。
值得注意的是，由于插件访问 ChatGPT 的兴趣，许多开发者希望通过API获取插件功能。但Sam 表示这类插件不会很快发布，因为它们还未达到产品市场定位（PMF）。他建议很多人虽然希望在应用程序中集成ChatGPT，但实际上他们真正想要的是应用程序中的ChatGPT互动体验。而且OpenAI 不会发布竞争性产品，他们致力于成为自己产品客户，从而改进API服务。
同时，在监管与开源的问题上,Sam 呼吁对未来模型进行监管，他认为现有模型并不危险，而监管或禁止它们将是一个错误。他重申开源重要性，并表示 OpenAI 正考虑开源 GPT-3。然而，对于尚未开源原因，他怀疑是否有足够的人员和公司能够托管和服务大型 LLM 模型。
最后，由于性能扩展定律继续有效，有说法称“巨型 AI 模型时代已经结束”并不准确。这意味着随着数据集不断增长，大型模型仍然能带来性能提升，使 AGI 开发时间表具有重大影响。如果缩放假设成立，那么我们可能已经具备构建 AGI 所需的大部分部分，只需采用现有方法并将其扩展到更大的模型和数据集即可。如果缩放定律继续成立的事实意味着时间线较短，则这一趋势对于AGI发展至关重要。
