难道明年我们还不能见识ChatGPT的多模态功能公开了吗科技论文范文中的这份路线图已经让人期待不已

品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关键信息，OpenAI 目前正面临着严重的 GPU 限制，这导致了他们许多短期计划的推迟。客户最大的抱怨是 API 的可靠性和速度问题，而 Sam 承认并解释说大部分问题都是由 GPU 短缺所造成。

尽管更长的上下文窗口（如32k）尚未能够推广给更多人，但 OpenAI 预计将在今年内实现10万-1M代币上下文窗口。然而，他们目前还无法克服 O(n^2) 的注意力扩展，因此任何更大的事情都需要研究上的突破。此外，微调 API 也受到 GPU 可用性的限制，他们尚未采用有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖计算密集型资源。

未来，OpenAI 计划提供更好的微调支持，并可能主持一个社区贡献模型市场。而专用容量产品也受到了GPU可用性的限制，以便访问此服务，客户必须预先承诺10万美元的支出。

Sam 分享了他认为 OpenAI 的API临时近期路线图如下：

2023年：GPT-4 更便宜、更快。这是他们首要任务，其目标是在不久的将来降低“智能成本”，努力继续降低 API 成本。随后将推出更长上下文窗口（高达100万令牌），以及对最新模型进行微调支持。但具体形式取决于开发人员真正想要什么。一方面，将会有一个记住对话历史记录的API版本；另一方面，一些开发人员对通过API访问ChatGPT插件感兴趣，但Sam表示这些插件不会很快发布，因为除了浏览之外，它们还没有获得足够的人气证明（PMF）。

2024年：多模态功能作为 GPT-4 版本的一部分进行演示，但由于缺乏足够数量的GPU，只能扩展到少数人。在这之前，还有一点需要强调，即OpenAI不会发布与其客户竞争产品，他认为伟大的平台公司拥有杀手级应用程序历史，而且 ChatGPT 将允许它们成为自己产品中的客户，从而改进 API。

最后，不少开发人员担心当 OpenAI 发布具有竞争力的产品时，他们使用 OpenAI API 构建应用的情绪会变得紧张。然而,Sam 表示即使存在监管需求，他仍然相信现有模型并不危险，并呼吁不要禁止它们。他重申了开源重要性的信念，并表示 OpenAI 正在考虑开源 GPT-3。不过，由于怀疑是否有人能托管和服务大型 LLM，他仍未开放所有内容。此外，对AGI发展时间表影响深远的是模型性能扩展定律持续有效的事实，即每增加一倍或三倍，大型模型性能都会提升，这对于缩放假设提出了质疑，也意味着AGI可能比我们想象得更加遥远。