学霸的科技树ChatGPT多模态功能何时开放明年将揭晓

品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关于 OpenAI 未来开发工作内容。关键要点如下：

首先，OpenAI 目前受到 GPU 严重限制，这在整个讨论过程中成为一个共同主题之一。由于 GPU 的有限性，OpenAI 的许多短期计划被推迟，而客户最大的抱怨则是 API 可靠性和速度问题。Sam 承认这些担忧，并解释说大部分问题都是由 GPU 短缺导致的。此外，即使拥有更长的 32k 上下文，还不能广泛推广给更多人，因为 OpenAI 还没有克服 O（n^2）的注意力扩展问题。

此外，微调 API 也受到 GPU 可用性的瓶颈限制，他们还未采用有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖计算密集型资源。未来将提供更好的微调支持，并可能主持一个社区贡献模型市场。而专用容量产品受限于GPU可用性，需要客户预先承诺10万美元支出才能访问。

接下来，Sam 分享了他认为 OpenAI 的API临时近期路线图包括：

2023年：更便宜、更快的GPT-4，这是他们当前主要任务；降低“智能成本”，努力继续降低API成本；实现更长上下文窗口（可能高达100万令牌）；扩展Finetuning API至最新模型，但形式取决于开发者的需求，以及引入有状态的API版本，以记住对话历史记录，不再每次调用都传递相同对话历史并付费。

2024年：多模态功能作为 GPT-4 版本的一部分进行了演示，但在更多GPU上线之前无法扩展到所有人使用。

此外，由于插件不会很快出现在 API 中，一些开发人员对于通过 API 访问 ChatGPT 插件感兴趣，但 Sam 表示这些插件不会迅速发布。他建议很多人希望他们应用程序中的 ChatGPT，但实际上他们真正想要的是在应用程序中使用 ChatGPT 功能。此外，有少数开发人员表示，当 OpenAI 发布竞争产品时，他们会感到紧张，因为他们不希望自己的构建基于竞争对手。但 Sam 表明 OpenAI 不会发布以外ChatGPT之外的大型产品，他认为伟大的平台公司拥有杀手级应用程序历史，而ChatGPT将允许它们通过成为自己产品客户来改进API。

最后，在监管和开源方面，虽然 Sam 呼吁对未来的模型进行监管，但他认为现有模型并不危险，并且禁止它们是一个错误。他强调了开源重要性的信念，并表示 OpenAI 正考虑开源 GPT-3。不过，他怀疑是否有足够的人员和公司能够托管和服务大型LLM，从而阻碍了这一行动。而且，对于模型性能扩展定律持续有效的事实，对AGI发展时间表具有重大影响。这意味着尽管缩放假设提出了我们可能已经具备构建AGI所需的大部分部分，只是剩下的工作需要以新的方法完成，而且如果缩放时代结束，那么我们就不得不期待AGI更加遥远。