2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关键信息，OpenAI 目前正面临着 GPU 缺口问题，这不仅推迟了他们的短期计划，也是客户抱怨 API 可靠性和速度不足的主要原因。Sam Altman 承认了这些担忧，并解释说大部分问题都是由于 GPU 短缺导致。
更重要的是，尽管 OpenAI 即将实现10万到1百万令牌上下文窗口，但任何超过32k上下文窗口的推广都还无法普及给更多人。这是因为 OpenAI 还未解决 O（n^2）的注意力扩展问题，因此即便能在今年内实现较大的上下文窗口，他们也需要进一步研究以克服这个限制。
此外，微调 API 目前也受到 GPU 可用性的限制，而没有有效的微调方法，如适配器或洛拉，因此微调运行和管理变得非常计算密集型。未来预计会提供更好的微调支持，并可能引入社区贡献模型市场。此外，由于专用容量产品受限于GPU可用性，客户必须预先承诺10万美元支出才能访问此服务。
关于近期路线图，Sam分享了他对 OpenAI 的看法：
2023年：目标是发布更便宜、更快的 GPT-4，以及增加长达100万令牌以上的大型上下文窗口。此外，将提供基于最新模型的微调支持，同时为用户带来一个有状态API版本，以记住对话历史记录，无需反复传递相同内容并重复支付费用。
2024年：将推出多模态功能作为 GPT-4 版本的一部分，但由于当前GPU数量有限，这项功能暂时只针对少数用户开放。在这一年里，还不会急切地发布插件，因为许多开发人员对于通过API接入ChatGPT插件感到兴奋，但Sam认为它们不会很快出现。他建议很多人认为他们希望在应用程序中使用ChatGPT，但是真正想要的是ChatGPT成为应用程序中的核心组成部分。
而且，不同的声音表明虽然一些开发者担心当OpenAI发布竞争产品时，他们可能会构建依赖API的情境。但Sam表示OpenAI不会发布除了ChatGPT之外更多竞争产品，他强调伟大的平台公司拥有杀手级应用软件历史，而且通过成为自己产品客户可以改进API。最终愿景是让ChatGPT成为工作超级智能助手，而不涉及那些OpenAI不触及其他潜在用的场景。
值得一提的是，即使存在监管呼声，大多数现有模型被视为安全，而监管或禁止它们被认为是一个错误。而且，对开源具有重要性的信念仍然坚持下去，其中包括考虑开源 GPT-3。不过，由于怀疑是否有足够的人员和公司能够托管和服务大型LLM，所以目前尚未开源。最后，有关模型性能扩展定律继续有效的事实，对AGI发展时间表具有重大影响，这意味着缩放假设仍然成立，从而缩短了我们达到AGI所需时间长度。如果规模化时代已经结束，那么这就意味着AGI距离我们更加遥远。但目前看来，不断扩展仍旧是取得进步的一个关键因素。
