2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关键信息，OpenAI 目前正面临着 GPU 缺口问题，这不仅推迟了他们的短期计划，也是客户抱怨 API 可靠性和速度主要原因。Sam 承认这些问题，并解释大部分是由 GPU 短缺引起。
尽管更长上下文窗口（32k）尚未普及给更多人，OpenAI 还未克服 O(n^2) 注意力扩展限制，因此即使今年将有10万-1M代币上下文窗口，但任何更大的应用还需突破性研究。微调 API 也受限于GPU可用性，他们目前没有使用有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖计算密集型资源。未来预计将提供更好的微调支持，并可能推出社区贡献模型市场。
专用容量产品也受到GPU可用性的限制，需要客户预先承诺10万美元支出才能访问。此外，OpenAI 提供专用的容量，为客户提供私人模型副本。
Sam 分享了他认为 OpenAI 的API临时近期路线图如下：
2023年：降低“智能成本”，包括更便宜、快速的 GPT-4 版本，以及更长上下文窗口（高达100万令牌）。Finetuning API 将扩展到最新模型，但形式取决于开发者的需求。同时，将推出一个记住对话历史记录的API版本，以减少重复传递相同对话历史并多次支付令牌的问题。
2024年：多模态功能作为 GPT-4 版本的一部分进行展示，但由于 GPU 资源限制暂时无法为所有用户开放。
插件方面，不太可能在短时间内通过 API 访问，因为除了浏览之外，还没有形成足够的人气验证（PMF）。而且，由于 OpenAI 不会发布竞争产品，它们不会与其客户竞争，而是致力于成为自身产品的大客户，从而改进 API。
对于监管和开源的问题，Sam 呼吁对未来模型进行监管，同时认为现有模型并不危险，他重申了开源重要性的信念，并表示 OpenAI 正在考虑开源 GPT-3。不过，由于怀疑是否有人能托管和服务大型 LLM，他还没有决定放弃一些内容。在此基础上，对 AGI 发展时间表影响深远的是，即使缩放假设被质疑，其核心定律仍然有效，即随着数据规模增加，每个额外单位数据带来的性能提升越来越小。这意味着虽然每年的增长率可能只有几倍，而不是数量级，但是这个过程仍旧持续下去，而且对于 AGI 开发具有重大意义。如果缩放时代已经结束，那么达到 AGI 的时间线将更加遥远。而当前的情况表明，我们正在朝着较短的路径前行。
