2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关于 OpenAI 未来开发工作内容。关键要点如下：
首先，OpenAI 目前受到 GPU 严重限制，这在整个讨论过程中成为一个共同主题之一。由于 GPU 的有限性，一些短期计划被推迟，而客户最大的抱怨是 API 可靠性和速度问题。Sam 承认了这些担忧，并解释说大部分问题都是由 GPU 短缺造成的。
其次，尽管即将到来的 32k 上下文还不能广泛推广给更多人，但 OpenAI 还没有克服 O（n^2）的注意力扩展，所以虽然他们很快就会有10万-1M代币上下文窗口（今年），但任何更大的事情都需要研究突破。此外，微调 API 目前也受限于GPU可用性，他们还没有使用有效的微调方法，因此微调运行和管理非常依赖计算密集型。但未来将提供更好的微调支持，并可能主持社区贡献模型的市场。
再者，OpenAI 提供专用容量产品，为客户提供模型的私人副本，但这需要预先承诺10万美元支出。
接下来,Sam分享了他认为 OpenAI 的API临时近期路线图包括：
2023年：更便宜、更快的 GPT-4——这是他们首要任务；努力继续降低 API 成本；长上下文窗口——可能达到100万个令牌；Finetuning API——扩展到最新模型，但形式取决于开发人员需求；一个有状态的 API 版本，以记住对话历史记录。
2024年：多模态——作为 GPT-4 版本的一部分进行演示，但在更多 GPU 上线之前无法扩展给所有人。
此外，由于插件不会很快加入 API 中，大多数开发人员对通过 API 访问 ChatGPT 插件感兴趣，但 Sam 表示这些插件不太可能迅速发布。他建议许多人认为他们希望在应用程序中拥有 ChatGPT 实例，而实际上他们真正想要的是将 ChatGPT 集成到应用程序中去。
最后，对于竞争的问题，Sam 表示 OpenAI 不会发布与其客户具有竞争力的产品，他强调伟大的平台公司通常拥有杀手级应用程序而不是直接竞争。他指出ChatGPT 将允许它们通过成为自己的产品客户来改进API，同时使之成为工作超级智能助手，同时还有很多其他未触及的 GPT 用例。而对于监管和开源的问题，他呼吁对未来模型进行监管但同时重申了他对开源重要性的信念，并表示 OpenAI 正在考虑开源 GPT-3。不过，由于怀疑是否有能力托管和服务大型 LLM，他尚未开放相关部分。此外，他坚信缩放定律继续有效，这意味着随着时间推移，我们可能已经具备构建AGI所需的大部分元素，只是剩下的工作需要采用现有方法并将其扩展到更大的模型和数据集。如果缩放时代已结束，那么我们应该期待AGI发展时间表会更加紧迫。
