2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高层包括 Sam Altman 及其他 20 位开发者进行的闭门讨论中透露的一些关键信息，显示了 OpenAI 未来发展战略和面临的挑战。首先，当前 OpenAI 面临的一个主要问题是 GPU 的严重限制，这导致了他们许多短期计划被推迟。客户对 API 可靠性和速度的抱怨也是由此产生的。
在更长上下文窗口（32k）的推广方面，由于 O(n^2) 注意力扩展的问题，即使将年内实现10万-1M代币上下文窗口，也无法轻易地实现更大规模。此外，微调 API 目前也受限于 GPU 可用性，而有效的微调方法，如适配器或洛拉尚未被采纳，因此运行和管理微调非常依赖计算密集型资源。未来预计会提供更好的微调支持，并可能开放社区贡献模型市场。
OpenAI 还提供专用容量产品，让客户可以获得模型私人副本，但这需要预先承诺10万美元支出。在近期路线图方面，Sam 提出了他认为 OpenAI API 应该朝向的一些方向：
2023 年：目标是创建一个更加便宜、快速且可扩展到100万令牌上下文窗口的 GPT-4 版本，同时持续降低 API 成本。此外，将会有一个记住对话历史记录的有状态 API 版本发布，以减少重复传递相同对话历史并支付多次费用。
2024 年：将推进多模态功能作为 GPT-4 的一部分，但由于缺乏足够数量的 GPU，这项功能目前只能在某些设备上测试，不具备普遍应用能力。
至于插件访问 ChatGPT 的可能性，尽管一些开发者对此表示兴趣，但 Sam 表示这些插件很快不会出现，因为它们还没有达到产品市场定位（PMF）。他建议很多人希望将 ChatGPT 集成到自己的应用程序中，其实真正想要的是在应用程序内部使用 ChatGPT 功能而不是通过 API 访问它。
OpenAI 同时宣布不会发布竞争与其客户现有服务相似的新产品，以避免与客户直接竞争。同时，它们也呼吁监管机制，同时强调开源对于 AI 技术发展至关重要，并表明正在考虑开源 GPT-3 模型。不过，由于托管和服务大型 LLM 的难度，他们仍然犹豫是否应该公开所有代码。
最后，对模型性能扩展定律继续有效这一点给予 AGI 开发时间表带来了重大影响。这意味着即使我们已经掌握了一部分构建 AGI 所需的大部分技术，只要保持缩放假设，我们就能较快实现这一目标。如果缩放时代已经结束，那么 AGI 实现可能会更加遥远。而目前的情况提示时间线可能比我们想象得更短。
