省科技厅是做什么的它不应该只知道ChatGPT路线图曝光预计明年公开多模态功能而是该如何利用这些信息

品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高级管理人员进行的深入探讨，揭示了该公司即将展开的一系列重大开发计划。这些计划旨在解决当前面临的主要挑战：GPU 资源紧缺和 API 可靠性问题。在这次闭门会议中，Sam Altman 等高层人物公开承认了这些问题，并指出大部分问题都源于对 GPU 的严重依赖。

更为关键的是，即使是 32k 上下文长度也难以普及，因为 OpenAI 还未克服 O(n^2) 的注意力扩展限制。这意味着即便他们能够实现10万-1M代币上下文窗口（预计今年内），任何超过此范围的功能仍需进一步研究突破。

目前微调 API 也受限于 GPU 可用性，而有效微调方法，如适配器或洛拉等尚未被采用。因此，微调运行和管理极为计算密集型。未来，OpenAI 计划提供更好的微调支持，并可能推动社区贡献模型市场的发展。

专用容量产品同样受到 GPU 资源限制。此外，他们提供专属容量服务，以供客户获得私有模型副本，但要访问此服务，客户需要预先承诺至少10万美元投资。

2023 年度路线图如下：

降低 GPT-4 成本：这是 OpenAI 当前的首要任务。

更长上下文窗口：未来不久，上下文窗口可能达到100万令牌。

微调 API 扩展：针对最新模型进行微调，但具体形式待开发者反馈确定。

有状态 API 实现：结束今天聊天时每次都传递相同对话历史并支付令牌，从而实现记住对话记录的功能。

至于 2024 年，则将重点落在多模态功能上，这一技术已经在 GPT-4 版本中初步展示，但由于缺乏足够的 GPU 支持，因此无法向所有用户开放。

值得注意的是，由于插件API接入ChatGPT，对插件直接通过API访问ChatGPT感兴趣的人数众多，但Sam表达了他对于这一点抱有疑虑，他认为这样的插件不会很快发布。除了浏览之外，还表明人们真正想要的是他们应用程序中的 ChatGPT，而不是通过 ChatGPT 访问应用程序内容。

关于是否会与其客户竞争的问题，Sam 表示 OpenAI 将避免发布具有竞争性的产品。他强调伟大的平台公司往往拥有杀手级应用程序，这一点也是 ChatGPT 能够成为工作超级智能助手的一个重要原因。而且，与其他 GPT 用例相比，有许多领域 OpenAI 不会涉足，因此不必担心竞争问题出现。

尽管 Sam 呼吁对未来模型进行监管，他同时也重申了开源技术对于促进知识共享和创新至关重要的信念。他表示OpenAI正在考虑开源 GPT-3，但是还未决定是否完全开放，因为他怀疑是否有人能负担起托管和维护大型LLM所需的大规模硬件资源。

最后，不少文章声称“巨型 AI 模型时代已经结束”，但根据OpenAI内部数据显示，该扩展定律继续有效，使得随着时间推移，大型模型性能不断提升。如果缩放假设成立，那么我们可能只剩一个AGI建设过程；然而，如果缩放定律继续运作，我们可以期待AGI到来的时间更加迫近。