未来科技有哪些方面ChatGPT路线图曝光预计明年将公开多模态功能

品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高级管理人员进行的深入探讨，揭示了该公司即将展开的一系列关键开发工作。这些工作包括：首先，目前OpenAI面临着严重的GPU资源限制，这导致了他们短期计划的延迟以及API可靠性和速度问题。Sam Altman 承认这一点，并解释称，大部分问题源于GPU短缺。

此外，更长上下文窗口（32k）尚未能广泛推广给用户，因为OpenAI仍需突破O(n^2)注意力扩展技术，以实现更大上下文窗口。此外，微调API也受限于GPU可用性，而有效的微调方法，如适配器或Lora，还未被采用。

专用容量产品同样受到GPU限制。要访问这些服务，客户需要预先承诺10万美元投资。

接下来是近期路线图概述：

2023年：降低“智能成本”，提供更便宜、更快的GPT-4模型，以及扩大上下文窗口至100,000令牌，并支持对最新模型进行微调。

2024年：多模态功能作为GPT-4版本的一部分进行展示，但由于当前GPU不足，将无法向所有用户开放。

值得一提的是，由于插件功能尚未加入API中，其推出时间表也难以确定。此外，一些开发者担心OpenAI可能会发布竞争产品，但Sam Altman 表示OpenAI不会发布除了ChatGPT以外的大型产品，它们将致力于通过成为自家的客户来改进API。

在监管和开源方面，虽然Sam呼吁对未来模型加强监管，但他认为现有模型并不危险。他还强调了开源重要性的必要性，并表示OpenAI正在考虑开源GPT-3。这一决定并非轻易做出的，因为许多人和公司是否能够托管和维护巨型LLM引发了疑问。

最后，对于模型性能持续增长定律的问题，有些观点声称“巨型AI时代已经结束”，但根据内部数据显示，这一定律仍然有效，即使如此，每年的性能提升幅度越来越小，不再是数十倍增长，而是逐渐增加一个数量级。这种趋势对于AGI发展时间表具有重大影响。如果缩放假设成立，那么剩余工作仅需应用现有方法并扩大到更大的数据集；反之，如果缩放时代已过，则AGI可能会更加遥远。