科技节口号ChatGPT路线图已曝光预计明年将公开多模态功能你准备好了吗

品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高级管理人员进行的深入探讨，揭示了该公司即将展开的一系列关键开发工作。这些工作包括：首先，目前OpenAI面临着严重的GPU资源限制，这导致了他们短期计划的延迟以及API可靠性和速度问题。Sam Altman 承认这一点，并解释称，大部分问题源于GPU短缺。

此外，更长上下文窗口（32k）尚未能广泛推广给用户，因为OpenAI仍未克服O(n^2)注意力扩展的问题，因此虽然今年将提供10万-1M令牌上下文窗口，但更大的上下文处理还需进一步研究突破。此外，微调API也受限于GPU资源，而有效的微调方法，如适配器或Lora，还未被有效应用，使得运行和管理微调非常依赖计算能力。未来预计会有更好的支持，并可能引入社区贡献模型市场。

专用容量产品同样受到GPU限制。在提供私人模型副本服务时，客户需要承诺至少10万美元支出。此外，对于近期路线图，Sam分享了他对OpenAI API临时规划的一些看法。

2023年目标包括更便宜、更快的GPT-4，以及持续降低API成本，以实现“智能成本”的最小化。此外，将来可能实现长达100万令牌的上下文窗口、扩展微调功能到最新模型，以及推出一个能够记住对话历史记录的有状态API版本。

2024年的重点则是多模态功能，这在GPT-4版本中已进行演示，但由于GPU资源不足目前无法为所有用户开放。

值得一提的是，由于插件访问ChatGPT并不快捷，一些开发者对于通过API获取插件感兴趣，但Sam表明这类插件不会很快发布。他认为许多开发者错误地认为他们想要的是在应用程序中嵌入ChatGPT，而不是真正希望在其应用程序中使用ChatGPT服务。

同时，有观点指出当OpenAI可能发布具有竞争力的产品时，他们使用OpenAI API构建项目感到紧张。但Sam表示OpenAI不会发布与ChatGPT竞争的其他产品，而是致力于成为自己产品客户，以改进其API。ChatGPT旨在成为工作中的超级智能助手，但还有许多潜在用例不涉及人类直接接触的人工智能技术。

最后，在监管和开源方面，有人呼吁对未来模型进行监管，同时也有人强烈主张开源重要性。尽管如此，对现有模型是否危险存在分歧，其中一些声音认为应对它们采取行动。而且，即使考虑到挑战，也正考虑将GPT-3开源。这主要是因为怀疑很多个人或组织是否具备托管和服务大型LLM所需的人才和设施。此外，不断提高模型性能继续符合扩展定律，这意味着随着时间推移，每次更新都会带来显著提升，从而影响AGI发展时间表。如果缩放假设正确，那么我们已经拥有一切必要的大部分成分，只需以相同方式扩大数据集并增加规模；然而，如果当前趋势持續，则AGI之路可能会更加漫长。