2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关键信息，OpenAI 目前正面临着严重的 GPU 缺口限制，这一问题已经成为影响他们短期计划执行的共同主题。客户对于 API 的可靠性和速度表现出最大抱怨，这些问题主要归咎于 GPU 缺乏。Sam Altman 承认了这一点，并解释说大部分问题都是由 GPU 短缺所导致。
此外，由于长上下文（32k）尚未能够推广给更广泛的人群，OpenAI 还未克服 O（n^2）的注意力扩展挑战，因此即便将来能提供10万-1M代币上下文窗口，但任何更大的功能都需要进一步的研究突破。此外，微调 API 目前也受限于GPU可用性，而有效的微调方法，如适配器或洛拉技术尚未被采用，因此微调运行和管理极为依赖计算密集型资源。在未来，将会提供更好的微调支持，并可能开设一个社区贡献模型市场。专用容量产品同样受到GPU可用性的限制，而为了使用这些服务，客户需预先承诺10万美元支出。
至于 OpenAI 的近期路线图，Sam 提供了他的看法：
2023年：更经济、更快的 GPT-4 是他们首要任务之一。总体目标是降低“智能成本”，因此随着时间推移，他们将努力持续降低 API 成本。此外，更长上下文窗口在不久后可能达到100万令牌水平；Fine-tuning API 将扩展到最新模型，但具体形式取决于开发人员实际需求；而有状态的API版本则将记住对话历史记录，以避免当前必须反复传递相同对话历史并每次支付相同令牌的问题。
2024年：多模态功能作为 GPT-4 版本的一部分进行展示，但由于更多GPU资源尚未准备好，它们目前无法向所有人开放。
值得注意的是，对插件在 API 中出现的情况表示担忧，因为许多开发者对通过 ChatGPT 访问插件感兴趣。但 Sam 表示，他认为这些插件不会很快实现。此外，一些开发者担心当 OpenAI 发布竞争产品时，他们会感到紧张，但 Sam 强调 OpenAI 不会发布除了 ChatGPT 之外的大型产品。他指出伟大的平台公司往往拥有杀手级应用程序，而 ChatGPT 有助它们通过成为自己产品中的用户来改进其API。
尽管一些声音呼吁监管 AI 模型，但 Sam 呼吁监管，同时强调现有模型并不危险。他还重申了他对于开源重要性的信念，并表示 OpenAI 正考虑开源 GPT-3。不过，由于是怀疑是否有足够的人和公司能够托管和维护大型 LLM 而没有开源其中一部分原因。
最后，有观点声称巨型 AI 模型时代已结束，但根据内部数据表明，即使如此，对模型性能进行扩展仍然有效，使得继续增大模型大小产生性能提升。这意味着虽然缩放规模不可持续，每年增加几倍或三倍，是可以接受的情况，而且这一趋势对 AGI 开发时间表具有重大影响。如果缩放定律继续有效，那么我们可能更加接近构建AGI的里程碑。而如果这种趋势终结，那么我们应当期待 AGI 到来的时间远去。
