2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关键信息，OpenAI 目前正面临着严重的 GPU 缺口问题，这一短缺已经成为推迟他们许多短期计划的共同主题。客户最大的抱怨是 API 的可靠性和速度，而 Sam 承认了这一点，并解释说大部分问题都是由于 GPU 缺口造成的。
此外，由于还没有克服 O（n^2）的注意力扩展限制，更长的 32k 上下文目前还不能被广泛推广给更多用户。而微调 API 也受到 GPU 可用性的瓶颈影响，他们尚未采用有效的微调方法，因此微调运行和管理需要大量计算资源。未来预计将提供更好的微调支持，并可能主持一个社区贡献模型市场。
对于专用容量产品，OpenAI 提供私人模型副本服务，但这种服务受限于 GPU 可用性，而且客户需预先承诺10万美元支出才能访问。
Sam 分享了他认为 OpenAI API 未来路线图的大致内容：
2023 年：更便宜、更快的 GPT-4 是他们首要任务之一。总体目标是降低“智能成本”，因此随着时间推移，他们将努力继续降低 API 成本。此外，将来可能实现上下文窗口高达 100 万令牌，以及对最新模型进行微调支持。不过，一个有状态的 API 版本在不久后也将到来，以记住对话历史记录，不再需要每次都传递相同对话历史并支付令牌。
2024 年：多模态功能作为 GPT-4 版本的一部分进行了演示，但由于缺乏足够多数量的心理学家，对所有用户开放之前需要更多时间。这意味着即使具有多模态功能，也只会适用于少数拥有足够多个GPU的人群。
值得注意的是，插件很快不会通过API接入 ChatGPT，因为尽管许多开发人员对此表示兴趣，但 Sam 认为这并不符合现有的 PMF（产品市场匹配）。而且，即使ChatGPT允许构建应用程序，它们真正想要的是在自己的应用程序中集成ChatGPT，而不是依赖API访问它。
另外，有些开发人员担心当OpenAI发布竞争强劲产品时，他们使用OpenAI API构建应用程序所带来的压力。但Sam表明OpenAI不会发布除ChatGPT之外的大型产品，因为伟大的平台公司往往拥有杀手级应用程序，并且ChatGPT可以帮助它们通过成为自己客户改进API。ChatGPT旨在成为工作中的超级智能助手，同时还有很多其他非竞争性的 GPT 用例等待探索。
最后，在监管方面虽然Sam呼吁未来模型得到监管，但他认为当前已存在的问题并不危险。他重申开源重要性，并表示 OpenAI 正考虑开源 GPT-3。然而，他怀疑是否有足够的人或公司能够托管和维护大型LLM，所以这个决定尚未作出。而关于模型性能扩展定律，其内部数据表明，这一规律仍然有效，即使某些文章声称“巨型 AI 模型时代已经结束”。这实际上意味着即便规模化时代终结，我们仍有望较快地达到AGI水平。这一点对于AGI发展时间表具有重大意义。
