2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些内容，OpenAI 面临着 GPU 严重限制的问题，这导致了他们短期计划的推迟。客户主要抱怨的是 API 的可靠性和速度问题，而 Sam 承认这些担忧，并解释说大部分问题都是由 GPU 短缺造成的。
更长的 32k 上下文还无法广泛推广给用户。OpenAI 尚未克服 O(n^2) 的注意力扩展，因此尽管他们将很快有10万-1M代币上下文窗口（今年），但任何更大的东西都需要研究上的突破。此外，微调 API 目前也受限于 GPU 可用性，他们尚未采用有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖计算密集型资源。未来将提供更好的微调支持，并可能主持一个社区贡献模型市场。
专用容量产品同样受限于 GPU 可用性。为了获得此服务，客户必须预先承诺10万美元支出。不过，对于 OpenAI 的近期路线图，有以下几个关键点：
2023 年：GPT-4 更便宜、更快。这是他们目前的首要任务。总体目标是降低“智能成本”，因此随着时间推移，他们将努力继续降低 API 成本。此外，将来可能会实现更长上下文窗口高达100万个令牌，以及对最新模型进行微调，但具体形式取决于开发者的需求。而且，将来会有一种记住对话历史记录的 API 版本，以避免每次调用时重复传递相同对话历史并支付令牌费用。
2024 年：多模态功能。这作为 GPT-4 版本的一部分进行了演示，但在更多 GPU 上线之前不能扩展到所有人。
值得注意的是，由于插件还没有被放入 API 中，一些开发人员对于通过 API 访问 ChatGPT 插件感到兴奋，但是 Sam 表示这些插件不会很快发布。他认为许多开发者认为他们希望在应用程序中使用 ChatGPT，但实际上他们真正想要的是在应用程序中包含 ChatGPT 的能力。
同时，有一些开发人员表示当 OpenAI 发布具有竞争力的产品时，他们就不再愿意使用 OpenAI 的构建工具。但 Sam 表示 OpenAI 不会发布除了 ChatGPT 之外更多产品，他指出伟大的平台公司往往拥有杀手级应用程序，而通过成为自己产品的大客户，ChatGPT 将使它们能够改进其 API。
Sam 还呼吁对未来模型进行监管，同时强烈主张开源重要性，并表示 OpenAI 正考虑开源 GPT-3，不过尚未决定公开，因为他怀疑是否有足够的人和公司能托管和维护大型 LLMs。
最后，对模型性能扩展定律仍然有效的事实，对 AGI 开发时间表具有重大影响。如果缩放假设成立，我们已经具备构建 AGI 所需的大部分组成部分，只剩余利用现有方法向更大规模数据集和模型进行扩展。但如果缩放时代结束，那么我们可能需要期待 AGI 时间表远去。而事实证明缩放定律仍然有效，为 AGI 时间表提供了强烈提示，即时间较短。
