2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高级管理人员及20位开发者进行闭门讨论，透露了OpenAI未来发展计划的部分内容。主要亮点包括：首先，OpenAI目前面临着严重的GPU限制，这导致了他们短期内许多计划的推迟。客户最大的抱怨是API可靠性和速度问题，而Sam Altman承认并解释这些问题大多数源自GPU短缺。此外，即使有32k上下文长度，但也无法普及给更多用户，因为OpenAI还未克服O（n^2）的注意力扩展挑战。
其次，微调API同样受限于GPU资源。大型模型的微调至今尚未找到有效方法，如适配器或Lora，因此运行和管理非常依赖计算密集型。未来将提供更好的微调支持，并可能会推出社区贡献模型市场。而专用容量产品则受到GPU可用性的限制，其中客户需要预先承诺10万美元支出以访问此服务。
再者，关于OpenAI近期路线图，2023年目标包括更便宜、更快的GPT-4，以及扩展上下文窗口到100万令牌以上，同时将Finetuning API扩展到最新模型。不过是否采用某种形式取决于开发者的实际需求。此外，将来会有一个记住对话历史记录的API版本，以减少重复传递相同对话历史和支付令牌费用。
至于2024年的规划，则涉及多模态功能作为GPT-4的一部分进行展示，但由于当前GPU资源有限，这一功能暂时只能在小范围内应用。在插件方面，由于它们尚未通过PMF（产品市场定位），Sam表示插件不会很快发布。他建议有些人认为他们希望在ChatGPT中使用特定的应用程序，但其实真正想要的是应用程序中的ChatGPT服务。
此外，对于竞争的问题，尽管一些开发者担心当OpenAI发布竞争力强劲的产品时，他们可能会感到紧张，但Sam表明OpenAI不会发布除了ChatGPT之外的大规模产品。他指出伟大的平台公司往往拥有杀手级应用程序，而ChatGPT正成为工作超级智能助手，并且允许平台公司通过成为自己的客户来改进API。然而，还有许多其他非核心场景不属于开源范围内的地方等待开发利用。
最后，在监管与开源议题上，一些观点出现分歧，有些文章声称“巨型 AI 模型时代已经结束”，但内部数据显示性能提升仍然遵循扩展定律。这意味着随着时间推移，每增加一倍或三倍大小都能带来性能提升，对AGI（通用人工智能）研发时间表具有重大影响。如果缩放假设正确，那么我们可能已经具备构建AGI所需的大部分元素，只是在数据集和模型尺寸方面进一步扩大即可实现。但如果这一法则终结，那么我们可能需要重新评估AGI达成日期。
