2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高层包括 Sam Altman 及其他 20 位开发者进行的闭门讨论中透露的一些关键信息，OpenAI 目前正面临着 GPU 储备严重不足的问题，这一限制已经成为影响他们短期计划执行的共同主题。客户对于 API 的可靠性和速度问题表示担忧，而 Sam Altman 承认这些问题，并解释称大部分问题都是由于 GPU 短缺所致。
此外，尽管 OpenAI 即将推出更长上下文窗口（32k），但这仍然无法满足所有用户的需求，因为当前技术还未能克服 O(n^2) 注意力扩展的问题。这意味着即便能够提供10万到1百万令牌的上下文窗口，也无法实现更大的上下文处理。微调 API 也受限于 GPU 可用性，对于有效的微调方法，如适配器或洛拉等，还未有实际应用，因此目前微调运行和管理非常依赖计算资源。此外，他们计划未来提供更好的微调支持，并可能推行一个社区贡献模型市场。
专用的容量产品同样受到 GPU 可用性的限制，客户需要预先承诺10万美元才能访问此服务。Sam Altman 分享了他对 OpenAI API 未来路线图的一些看法，其中包括：
2023 年：努力推出成本更低、速度更快的 GPT-4 版本，以及增加上下文窗口至100万令牌级别。此外，将会对现有的模型进行微调支持，以满足不同开发者的需求，并且引入一个有状态的 API 版本，以减少重复传递对话历史并多次付费的情况。
2024 年：预计会推出多模态功能作为 GPT-4 版本的一部分，但这将取决于更多 GPU 的部署情况。同时，由于插件在 API 中尚未出现，许多开发人员对于通过 ChatGPT 访问插件感到期待，但 Sam 表示这些插件不太可能在近期内发布。
值得注意的是，即使有些开发者担心 OpenAI 最终可能发布竞争产品，与他们合作时也不会直接竞争。Sam 强调 OpenAI 不会发布与 ChatGPT 相似的额外产品，而是希望通过成为自己应用程序中的 ChatGPT 来改进其 API 功能，使之成为工作中的超级智能助手，同时保持开源精神并考虑监管事宜。他认为监管现有模型是不合理的，同时强烈提倡开源 GPT-3，并指出虽然目前缩放效应继续起作用，但这一趋势并不意味着 AGI 开发时间表会变得更加遥远，只是表明我们正在朝向较短时间线迈进。
