难道明年我们就能见证ChatGPT的多模态功能公开了吗这背后是不是依赖于芯片技术的巨大飞跃呢

品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关于 OpenAI 接下来的发展规划。关键要点如下：

首先，OpenAI 目前正面临着 GPU 的严重限制，这影响了他们许多短期计划的推进，其中客户最大的抱怨是 API 的可靠性和速度问题。Sam Altman 承认这些问题，并解释说大部分问题都是由于 GPU 短缺造成的。此外，即便更长的 32k 上下文也无法被广泛推广，因为 OpenAI 尚未克服 O（n^2）的注意力扩展挑战，因此虽然他们将很快提供10万-1M代币上下文窗口，但任何更大的事情都需要进一步的研究突破。

其次，微调 API 也受到 GPU 可用性的瓶颈限制，他们还没有采用有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖于计算密集型资源。未来，将为用户提供更好的微调支持，他们甚至可能会主持一个社区贡献模型市场。此外，由于专用容量产品受限于GPU可用性，客户必须预先承诺10万美元支出才能访问此服务。

再者，Sam 分享了他认为 OpenAI API 临时近期路线图的大致内容：

2023 年：他们计划发布更便宜、更快的 GPT-4 版本，这是当前目标之一。随着时间推移，他们将继续努力降低 API 的成本。

不久后，上下文窗口可能达到100万个令牌水平；同时，Finetuning API 将扩展到最新模型，但具体形式将取决于开发人员所需。

未来，还有一个有状态的API版本，将记住对话历史记录，以避免每次调用都需要传递相同对话历史并支付令牌费用。

2024 年：多模态功能作为 GPT-4 版本的一部分进行了演示，但在更多GPU上线之前，它们不能扩展到所有人使用。

最后，不太可能会在API中快速实现插件。这主要是因为插件使用表明它们还没有形成产品-market fit（PMF）。而且，当OpenAI发布竞争对手产品时，有些开发者感到紧张。但Sam表示OpenAI不会发布除了ChatGPT之外更多竞争产品。他强调伟大的平台公司拥有杀手级应用程序的历史，而ChatGPT将使它们成为自己产品客户，从而改进API。此外，他呼吁监管未来的模型，同时重申开源重要性，并表示OpenAI正在考虑开源GPT-3。不过，他怀疑是否有多少个人和公司能够托管和服务大型LLM。

此外，有关模型性能扩展定律的问题引起了讨论。一方面，有文章声称“巨型 AI 模型时代已经结束”，但实际上根据内部数据显示，该定律仍然有效，使得随着时间推移，每年增加一倍或三倍大小模型变得不可持续。而这对于AGI发展时间表具有重大影响。如果规模化时代已结束，那么我们可能应该期待AGI出现较晚，而如果缩放定律继续成立，则提示时间线较短。