2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高级管理人员及20位开发者进行闭门讨论，透露了OpenAI未来发展计划的部分内容。主要亮点包括：首先，当前OpenAI面临着严重的GPU限制，这导致了他们短期内许多计划的推迟。客户最大的抱怨是API可靠性和速度问题，而Sam Altman承认并解释这些问题大多数源自GPU短缺。此外，即使有32k上下文长度，但也无法普及给所有用户，因为OpenAI还未克服O（n^2）的注意力扩展挑战。
其次，微调API同样受限于GPU资源。大型模型的微调至今尚未找到有效方法，如适配器或Lora，因此需要大量计算资源。预计将来会提供更好的微调支持，并可能推出社区贡献模型市场。而专用容量产品则因对GPU资源依赖而受限，仅针对愿意预付10万美元支出的客户开放。
再次，对于近期路线图，Sam分享了他对于OpenAI API临时目标的一些看法。2023年，将重点降低“智能成本”，包括发布更便宜、快速的GPT-4版本，更长上下文窗口，以及Finetuning API功能；同时，一有状态API版本将逐步推行，以减少重复传递对话历史和支付令牌费用的需求。
至于2024年的规划，则涉及到多模态功能作为GPT-4的一部分进行展示，但由于现有GPU数量限制，这项技术目前只能在少数设备上测试，不足以扩展给所有用户。在插件方面，由于插件通过API访问ChatGPT引起广泛兴趣，但Sam表示这类插件不太可能在短期内实现。此外，有观点指出当OpenAI可能发布竞争产品时，他们使用该平台构建应用程序感到紧张；但Sam强调OpenAI不会发布除ChatGPT之外更多产品，因为伟大的平台公司往往拥有杀手级应用程序的历史，而ChatGPT正成为自己产品客户，以改进API服务。
最后，在监管和开源方面，有声音呼吁监管未来模型性能，同时认为现存模型并不危险，并且监管或禁止它们是错误之举。他坚定地认为开源对于科学共享至关重要，并表示正在考虑开源GPT-3。但目前仍然存在疑虑，比如是否有能力托管和服务大型LLM。
此外，有观点声称“巨型AI模型时代已经结束”，但根据内部数据显示，其实际情况是模型性能扩展定律继续有效，使得随着时间推移，每增加一个新的规模都能带来显著性能提升。这一事实对于AGI开发时间表具有重大影响。如果缩放假设成立，那么我们已具备构建AGI所需的大部分基础，只需采用现有方法并将其扩展到更大规模的事物。但如果缩放定律持续有效，则提示AGI开发可能比预想中要迅速得多。
