2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高层包括 Sam Altman 及其他 20 位开发者进行的闭门讨论中透露的一些关键信息，OpenAI 目前正面临着严重的 GPU 缺口限制问题，这不仅推迟了他们许多短期计划，而且也成为客户抱怨 API 可靠性和速度问题的主要原因。Sam Altman 承认了这些担忧，并解释说大部分问题都是由于 GPU 短缺造成的。
此外，尽管 OpenAI 即将实现10万到1百万令牌上下文窗口，但更长的32k上下文窗口目前还无法广泛推广，因为 OpenAI 还未克服 O（n^2）的注意力扩展难题。微调 API 同样受到 GPU 可用性的限制，他们尚未采用有效的微调方法，如适配器或洛拉，因此微调运行和管理极为计算密集型。此外，由于专用容量产品受限于GPU可用性，OpenAI 提供给客户模型私人副本服务需要预先承诺10万美元支出。
在近期路线图方面，Sam Altman 分享了他认为 OpenAI 的API临时近期目标如下：
2023年：更便宜、更快的 GPT-4——这是他们首要任务。随着时间推移，他们努力降低“智能成本”，因此不断尝试降低 API 成本。同时，将来可能会提供更长上下文窗口，即高达100万个令牌，以及对最新模型进行微调支持，但具体形式取决于开发者的需求。此外，将有一个记住对话历史记录的有状态 API 版本。
2024年：多模态功能将作为 GPT-4 版本的一部分进行演示，但在更多 GPU 上线之前不能扩展到所有用户。这意味着即使多模态功能已经准备就绪，也可能因为技术限制而无法立即向所有用户开放。
值得注意的是，虽然很多开发人员对通过 API 访问 ChatGPT 插件感兴趣，但是 Sam 表示插件不会很快发布。他指出，有些人认为他们希望在应用程序中使用 ChatGPT，而实际上，他们真正想要的是将 ChatGPT 集成到自己的应用程序中去。另外，一些开发人员担心当 OpenAI 发布具有竞争力的产品时，这可能会影响他们使用 OpenAI API 来构建项目。但是 Sam 表示，不会发布以外ChatGPT之外的大型产品，因为伟大的平台公司往往拥有杀手级应用程序，而 ChatGPT 将允许它们通过成为自己产品客户来改进其API。
对于监管和开源的问题，上述讨论中提到了 Sam 对监管重要性的呼吁以及他对开源 GPT-3 的考虑。他相信现有的模型并不危险，并且禁止它们将是一个错误，同时强调开源对于促进知识共享和创新至关重要。不过，由于怀疑是否有足够的人员或公司能够托管并维护大型 LLMs，他表示仍需进一步探索这个可能性。
最后，对于模型性能扩展定律的事实，即使巨型 AI 模型被认为时代结束，其内部数据表明这种情况依然有效，使得模型变得越来越大继续产生性能提升。这一事实对于 AGI 开发时间表具有重大意义，因为缩放假设暗示我们已经具备构建 AGI 所需的大部分元素，只是在规模化后才发现剩余工作可以采用现有方法并扩展至更大的模式与数据集。如果这一定律继续成立，则AGI 时间线可能比想象中的更加紧迫。
