2025-02-08 智能 0
品玩6月1日讯,据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关于 OpenAI 未来开发工作内容。关键要点如下:
首先,OpenAI 目前受到 GPU 严重限制,这在整个讨论过程中成为一个共同主题之一。由于 GPU 的有限性,一些短期计划被推迟,而客户最大的抱怨是 API 可靠性和速度问题。Sam 承认了这些担忧,并解释说大部分问题都是由 GPU 短缺造成的。此外,更长的 32k 上下文还不能广泛推广给更多用户,因为 OpenAI 还未克服 O(n^2) 注意力扩展的问题。
其次,微调 API 也受到 GPU 可用性的瓶颈影响,他们还没有使用有效的微调方法,如适配器或洛拉,因此微调运行和管理非常依赖计算密集型。未来将提供更好的微调支持,并可能主持社区贡献模型市场。而专用容量产品受限于 GPU 可用性,客户必须预先承诺10万美元支出才能访问此服务。
接着,Sam 分享了他认为 OpenAI API 暂时近期路线图如下:2023 年目标包括更便宜、更快的 GPT-4,以及继续降低“智能成本”。接下来,将实现更长上下文窗口(高达100万令牌)以及对最新模型进行细化调整。此外,将会有一个记住对话历史记录的 API 版本发布。
至于2024 年,多模态功能作为 GPT-4 版本的一部分进行展示,但由于当前GPU数量不足,该功能无法扩展到所有人。这意味着插件不会很快出现在 API 中,因为许多开发人员对通过 API 访问 ChatGPT 插件感兴趣,但 Sam 表示这些插件不会很快发布。他建议很多人认为他们希望在应用程序中拥有 ChatGPT,但实际上他们真正想要的是应用程序中的 ChatGPT 能力。
同时,不少开发人员表示,当 OpenAI 最终可能发布具有竞争力的产品时,他们对于使用 OpenAI API 构建感到紧张。Sam 表示 OpenAI 不会发布除 ChatGPT 之外更多产品,他指出伟大的平台公司往往拥有杀手级应用程序,而 ChatGPT 将允许它们通过成为自己产品的客户来改进API。
最后,对于监管和开源的问题,虽然 Sam 呼吁对未来模型进行监管,但他认为现有模型并不危险,他重申了开源重要性的信念,并表示OpenAI 正在考虑开源 GPT-3。不过,由于怀疑是否有人能托管并服务大型 LLM,这一决定尚未作出。此外,即使存在这样的挑战,有内部数据表明模型性能扩展定律仍然有效,使得随着时间推移,每年增加一倍或三倍的大型 AI 模型变得可行。如果缩放定律继续起作用,那么 AGI 开发时间表将显著缩短。在这种情况下,如果我们已经具备构建 AGI 所需的大部分技术,则剩余任务可能需要采用现有方法并将其扩展到更大的数据集和模型,从而加速这一进程。
上一篇:古木参天南烛树的故事与魅力