2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关于 OpenAI 未来开发工作内容。关键要点如下：
首先，OpenAI 目前受到 GPU 严重限制，这在整个讨论过程中成为一个共同主题之一。由于 GPU 的有限性，OpenAI 的许多短期计划被推迟，而客户最大的抱怨则是 API 可靠性和速度问题。Sam 承认这些担忧，并解释说大部分问题都是由 GPU 短缺导致的。此外，即使拥有更长的 32k 上下文，也无法广泛推广给更多人，因为 OpenAI 还没有克服 O（n^2）的注意力扩展问题。
此外，微调 API 也受到 GPU 可用性的瓶颈限制，他们还未能有效地使用适配器或洛拉等微调方法，因此微调运行和管理非常依赖计算密集型。未来将提供更好的微调支持，并可能主持一个社区贡献模型的市场。而专用容量产品也受限于GPU可用性，其服务需要客户预先承诺10万美元支出。
接着，Sam 分享了他认为 OpenAI 的 API 长期路线图包括：
2023年：目标是实现更便宜、更快的 GPT-4，以及持续降低“智能成本”。未来上下文窗口可能达到100万令牌长度；Fine-tuning API 将扩展到最新模型，但具体形式取决于开发者的需求；以及实现有状态的 API，以记住对话历史记录。
2024年：多模态功能作为 GPT-4 版本的一部分进行演示，但在更多GPU上线之前不能对所有人开放。
值得一提的是，由于插件通过API访问ChatGPT并非立即可见，许多开发人员对此感到兴奋，但Sam表明插件不会很快发布。他强调，不少开发者对于当OpenAI发布竞争产品时使用其API感到紧张，但Sam表示OpenAI不会发布除ChatGPT之外的大型产品。
最后，对于监管与开源的问题，一方面 Sam 呼吁对未来的模型进行监管，同时也重申了开源重要性的信念，并表示OpenAI正在考虑开源GPT-3。不过，由于怀疑有多少个人和公司能够托管和服务大型LLM，他尚未决定是否完全开源。此外，与AGI发展相关的事实显示，即使巨型 AI 模型时代结束了，我们仍然可以期待 AGI 时间表较短，因为缩放定律继续起作用。这意味着我们可能已经具备构建AGI所需的大部分基础设施，只是在规模化方面还有进一步提升空间。
