2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关于 OpenAI 未来开发工作内容。关键要点如下：
首先，OpenAI 目前受到 GPU 严重限制，这在整个讨论过程中成为一个共同主题之一。由于 GPU 的有限性，OpenAI 的许多短期计划被推迟，而客户最大的抱怨则是 API 可靠性和速度问题。Sam Altman 承认了这些担忧，并解释说大部分问题都是由 GPU 短缺造成的。此外，即使更长的 32k 上下文也无法广泛推广给更多人，因为 OpenAI 还没有克服 O（n^2）的注意力扩展问题。
其次，微调 API 也受到 GPU 可用性的瓶颈影响。目前，他们还没有使用有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖于计算密集型资源。在未来，将提供更好的微调支持，并可能主持一个社区贡献模型市场。此外，专用容量产品受限于GPU可用性，也意味着客户必须预先承诺10万美元支出才能访问此服务。
Sam Altman 分享了他认为 OpenAI API 长期路线图如下：
2023年：他们将致力于开发更便宜、更快的 GPT-4 版本，以降低“智能成本”。此外，他们将逐步增加上下文窗口规模，最终达到100万令牌，并扩展微调支持到最新模型形式，以及实现有状态的API版本，使得用户无需反复传递对话历史并付费。
2024年：多模态功能作为 GPT-4 版本的一部分进行展示，但由于缺乏足够多的GPU，它们不能扩展到所有人。这也是为什么插件很快不会出现在 API 中，因为它需要 PMF（产品生命周期中的第一个销售）才能证明其价值。而且，不少开发者表示当 OpenAI 发布具有竞争力的产品时，他们会感到紧张，但 Sam 表示 OpenAI 不会发布除了 ChatGPT 之外的大型应用程序产品。
最后，虽然 Sam 呼吁对未来的模型进行监管，他相信现有模型并不危险，而监管它们将是一个错误。他重申了开源重要性的信念，并表示 OpenAI 正考虑开源 GPT-3。但是，由于怀疑是否有足够的人或公司能托管和服务大型 LLM，这一决定尚未实施。此外，他指出模型性能仍然遵循扩展定律，即使最近一些文章声称“巨型 AI 模型时代已经结束”，这并不代表缩放假设即将失效，而是表明我们可能已经具备构建 AGI 所需的大部分基础设施，只是剩余工作涉及如何利用现有方法并扩展到更大的数据集。如果缩放定律继续成立，那么这一事实对于 AGI 开发时间表具有重大影响。
