2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高级管理人员进行的深入探讨，揭示了该公司即将展开的一系列重大开发计划。这些计划旨在解决当前面临的主要挑战：GPU 资源紧缺和 API 可靠性问题。在这次闭门会议中，Sam Altman 等 20 位顶尖开发者共同探讨了 OpenAI 未来发展的关键点。
首先，他们强调了 GPU 资源限制对整个项目进程的影响。这不仅延迟了许多短期目标，也是客户抱怨API速度慢和不可靠性的根本原因。Sam 明确承认这一点，并指出大部分问题都可以归因于GPU短缺。
此外，由于长达32k上下文窗口仍未能普及给更多用户，以及OpenAI目前还无法克服O（n^2）的注意力扩展，因此即使他们很快能够提供10万-1M代币上下文窗口（今年），任何更大的功能推广也需要进一步研究突破。此外，对微调API目前同样受到GPU可用性的限制，尚未采用有效方法如适配器或Lora，因此微调运行和管理非常依赖计算密集型资源。未来预计会有更好的微调支持，并可能建立一个社区贡献模型市场。而专用容量产品则受限于GPU可用性。
接着，Sam分享了他认为OpenAI API接下来几个月内可能采取的行动。他提到2023年的目标包括发布成本更低、速度更快的GPT-4版本，以及逐步提升上下文窗口至100万令牌。此外，将推动Finetuning API以支持最新模型，并引入一个有状态的API，以记住对话历史记录而非每次重复传递相同内容支付费用。
对于2024年，他预测多模态功能将作为GPT-4版本的一部分进行演示，但由于现有的GPU资源限制，这一功能暂时只能针对少数人群使用。一方面，有关通过API访问ChatGPT插件的问题也被提出，但Sam表明这些插件不会在近期内得到实现，因为它们还没有达到产品-market fit（PMF）阶段。他建议许多人希望将ChatGPT集成到自己的应用程序中，但其实真正想要的是ChatGPT本身，而不是它所能提供的一些特定功能。
同时，一些开发者担心OpenAI最终会发布竞争其产品的情景，这一担忧被Sam否定，他表示OpenAI不会发布除了ChatGPT以外的大量产品。他认为伟大的平台公司往往拥有杀手级应用程序，而ChatGPT正试图成为工作中的超级智能助手，为其他场合留下更多空间供OpenAI避免直接竞争客户需求。
尽管有些声音呼吁监管未来模型，同时也有观点认为应当开源，如同Sam所言，他坚信监管是必要之举，同时也强烈主张开源重要性。虽然考虑过开源但尚未实施，是因为他怀疑是否有人或机构有能力托管并服务大型LLM。此外，不断扩展模型性能的事实显示，即便巨型机器学习时代结束，也意味着AGI时间表缩短可能性增加。但缩放假设继续成立的事实却提示时间线可能比想象得要短得多。
