2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关键信息，OpenAI 目前正面临着严重的 GPU 缺口问题，这不仅推迟了他们许多短期计划，也是客户对 API 可靠性和速度抱怨的主要原因。Sam Altman 承认了这些问题，并解释说，大部分问题都是由于 GPU 短缺造成的。
此外，由于尚未克服 O（n^2）的注意力扩展限制，OpenAI 尚未能推广更长的 32k 上下文窗口给更多人。尽管他们将在今年实现10万-1M代币上下文窗口，但任何更大的上下文都需要研究上的突破。此外，微调 API 也受到 GPU 可用性的限制，他们还没有采用有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖计算密集型。未来将提供更好的微调支持，并可能会主持一个社区贡献模型市场。
专用容量产品也受到了GPU可用性的限制。在提供私人模型副本服务时，客户必须预先承诺10万美元支出。这表明 OpenAI 的近期路线图中有几个重点目标：
2023年：减少“智能成本”，包括发布更便宜、快速的 GPT-4，以及扩展到100万令牌以上的大上下文窗口；同时，将API从无状态改为有状态，使之能够记住对话历史记录；此外，还将扩展微调功能至最新模型。
2024年：多模态功能作为GPT-4版本的一部分进行演示，但由于GPU数量有限，这一功能目前只能向少数人展示。
值得注意的是，不太可能在接下来很快看到通过API访问ChatGPT插件，因为Sam认为这并不符合现阶段用户需求。此外，虽然一些开发者担忧OpenAI最终可能发布竞争产品，但Sam表示OpenAI不会发布以外ChatGPT以外更多产品，以避免与客户直接竞争。相反，他们希望通过成为自己的客户来改进API，从而使ChatGPT成为工作中的超级智能助手，而不是仅限于特定应用场景。
最后，对于监管和开源的问题，一方面，有声音呼吁对未来模型进行监管以防止潜在风险；另一方面，也有人认为现有的模型并不危险，而监管或禁止它们是一个大错误。Sam强调了开源重要性，并表示OpenAI正在考虑开源GPT-3。但是，由于托管和服务大型LLM所需的人才不足，他们尚未决定是否开放其内部数据集。而且，即使缩放假设被证明是错误的，即我们已经具备构建AGI所需的大部分技术基础，只要性能继续随着规模增长而提升，那么AGI仍然可能是在较短时间内实现的事实提醒人们时间表可能比预想的小得多。
