2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关于 OpenAI 接下来的开发工作内容。首先，OpenAI 目前受到 GPU 严重限制，这是他们短期计划推迟的共同原因之一。客户最大的抱怨是 API 可靠性和速度问题，而 Sam 承认并解释了这些问题主要是由 GPU 短缺引起的。
此外，尽管更长的 32k 上下文已经不能广泛推广给更多用户，但 OpenAI 还未克服 O（n^2）的注意力扩展问题，因此虽然他们将很快提供10万-1M代币上下文窗口（今年），但任何更大的事物都需要研究突破。此外，微调 API 目前也受限于 GPU 可用性，他们还没有使用有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖计算密集型。未来将提供更好的微调支持，并可能主持一个社区贡献模型市场。
此外，OpenAI 提供专用容量产品，为客户提供模型私人副本，但要访问这个服务，客户必须愿意预先承诺10万美元支出。在近期路线图方面,Sam 分享了他认为 OpenAI 的 API 暂时目标。
2023年：GPT-4 将成为他们首要任务，即便它更加便宜、快速；总体而言，OpenAI 的目标是在不久的将来继续降低“智能成本”，因此随着时间推移，他们会努力继续降低 API 成本；还有，更长上下文窗口——在不久的将来，上下文窗口可能高达100万个令牌；Finetuning API——微调API将扩展到最新模型，但具体形式取决于开发人员表示他们真正想要什么；以及一个有状态的API——当你今天调用聊天API时，你必须反复传递相同对话历史并一次又一次为相同令牌付费，将来会有一个记住对话历史记录的一个版本。
至于2024年的计划，那就是多模态功能，这作为 GPT-4 版本的一部分进行了演示，但在更多GPU上线之前无法扩展到所有人。而对于插件的问题，不少开发人员对通过API访问ChatGPT插件感兴趣，但是Sam 表示这些插件不会很快发布，他建议很多人认为他们希望应用程序中的ChatGPT，却真正想要的是应用程序中的ChatGPT。他还指出OpenAI不会发布竞争产品，因为伟大的平台公司拥有杀手级应用程序悠久历史，而 ChatGPT 将允许它们通过成为自己产品客户改进API。
另外，有关监管的问题，一些开发人员担心当OpenAi发布具有竞争力的产品时，他们会感到紧张。Sam 呼吁对未来模型进行监管，但他认为现有的模型并不危险，并认为监管或禁止它们是一个错误。他重申了他对开源重要性的信念，并表示 OpenAI 正在考虑开源 GPT-3。但由于怀疑是否有多少个人和公司能托管和服务大型LLM，所以尚未开源。这一点进一步强化了一种观点，即缩放假设仍然有效，对AGI发展时间表具有重大影响。如果缩放时代已经结束，那么我们应该期待AGI出现得更远。
