2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些内容，OpenAI 面临着 GPU 严重限制的问题，这导致了他们短期计划的推迟。客户主要对 API 的可靠性和速度表示担忧，而这些问题很大程度上源于 GPU 短缺。
此外，由于长上下文（32k）还无法广泛推广，并且 OpenAI 还未克服 O(n^2) 注意力扩展问题，因此即便他们今年将实现10万-1M令牌上下文窗口，但更大的操作仍需突破性研究。此外，微调 API 也受到 GPU 可用性的限制，他们尚未采用有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖计算密集型资源。未来可能会提供更好的微调支持，并可能建立一个社区贡献模型市场。
专用容量产品也受限于 GPU 可用性。OpenAI 提供专用容量，为客户提供模型的私人副本，但要使用此服务，客户需要预先承诺10万美元支出。
Sam 分享了他认为 OpenAI 接下来API近期路线图如下：
2023年：更便宜、更快的 GPT-4 是他们首要任务。总体目标是降低“智能成本”，随着时间推移，他们将努力继续降低 API 成本。更长上下文窗口——在不久的将来，上下文窗口可能达到100万个令牌；Finetuning API——微调 API 将扩展到最新模型，但具体形式取决于开发人员真正想要什么；一个有状态的 API——当前调用聊天 API 时，每次都必须传递相同对话历史并多次支付令牌，将来会有记住对话历史记录的一个版本。
2024年：多模态功能作为 GPT-4 版本的一部分进行展示，但由于更多 GPU 上线之前不能扩展到所有用户。这意味着虽然这个功能已经被展示给了一小部分人，但是它对于大众来说仍然是一个遥远的梦想。
插件不会很快出现在API中，因为尽管许多开发者对通过API访问ChatGPT插件感兴趣，但是Sam表达了他的怀疑。他认为很多人希望看到它们应用程序中的ChatGPT而不是ChatGPT插件本身。而OpenAI不会发布竞争产品，他们将保持自己的定位，即成为自己产品客户以改进其API，这样的愿景使得ChatGPT成为工作超级智能助手，同时还有许多OpenAI不会触及其他潜在应用场景。
关于监管与开源的问题，Sam呼吁监管未来的大型语言模型，同时坚信开源对于技术发展至关重要。他重申了他关于开源 GPT-3 的考虑，并指出现有的模型并不危险，而监管或禁止它们是一种错误做法。在内部数据显示情况下，即使巨型 AI 模型时代被否认，其性能增长定律依然有效，使得不断增加大小得到提升。但是这样的扩张不可持续，只能每年增加一倍或者三倍，而不是数百万甚至数量级增长。这不仅影响 AGI 开发时间表，而且暗示如果规模化时代已经结束，那么我们应该期待AGI 到来的时间会更加遥远。如果缩放假设成立，我们就可以构建AGI所需的大部分组成部分，只是在现有方法基础之上再加大数据集和模型规模。不过目前看来，这种可能性似乎还是有一段距离。
下一篇：芙蓉花梦回扬州春雨中
