2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高级管理人员及20位开发者进行闭门讨论，揭示了OpenAI未来发展的关键点。首先，目前OpenAI面临着严重的GPU限制，这导致了他们短期计划被推迟，并且客户主要抱怨的是API可靠性和速度问题。Sam Altman 承认这些问题，并指出它们大多数是由GPU短缺引起的。此外，由于32k上下文长度还不能广泛应用，更大的上下文长度在技术突破前也难以实现。
此外，微调API目前同样受到GPU可用性的限制。由于没有有效的微调方法，如适配器或Lora，因此微调运行和管理非常依赖计算密集型资源。未来将提供更好的微调支持，他们甚至可能推行一个社区贡献模型市场。此外，专用容量产品受限于GPU可用性。在访问这些服务时，客户需要预先承诺10万美元支出。
关于OpenAI近期路线图，其目标包括2023年发布更便宜、更快的GPT-4，以及增加上下文窗口至100万令牌等。此外，将来会有一个记住对话历史记录的API版本。这一年的其他目标还包括扩展Finetuning API到最新模型，但具体形式取决于开发者的需求。
对于2024年，则重点放在多模态功能上，这将作为GPT-4的一部分进行演示，但在更多GPU部署之前无法对所有人开放。然而，一些开发人员表示，对通过API访问ChatGPT插件感兴趣，但Sam认为这不会很快成为现实。他建议许多人希望其应用程序中包含ChatGPT，但实际上他们真正想要的是自己的应用程序中的ChatGPT。
此外，有些开发者担忧当OpenAI发布具有竞争力的产品时，他们使用OpenAI API构建项目所带来的紧张感。但Sam表明OpenAI不会发布除ChatGPT之外更多产品。他认为伟大的平台公司拥有杀手级应用程序的历史，而ChatGPT允许它们通过成为自己产品的客户来改进API。
最后，有关监管的问题，虽然Sam呼吁对未来的模型进行监管，他认为现有模型并不危险，并不赞成监管或禁止它们。他强调开源重要性，并表示OpenAI正在考虑开源GPT-3。不过，由于怀疑是否有人能托管和服务大型LLM，所以尚未开源。而且，即使缩放假设结束了，也不意味着AGI时间表就远离，我们仍然可能具备构建AGI所需的大部分基础设施，只是在规模化方面采用现有方法并扩展到更大的数据集即可。如果缩放定律继续成立的事实提示时间线较短，那么我们可能需要重新评估AGI发展的时间安排。
