2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行闭门讨论，透露了关于 OpenAI 未来开发工作的内容。首先是面临的挑战：目前 OpenAI 受限于 GPU 的严重短缺，这影响了他们许多短期计划的推进。用户最大的抱怨是 API 的可靠性和速度问题，Sam 承认这些担忧，并解释说大部分问题都是由 GPU 短缺导致。
此外，32k 上下文还不能广泛推广给更多人，因为 OpenAI 还没有克服 O（n^2）的注意力扩展限制，即使他们将在今年内提供10万-1M代币上下文窗口，但更大的上下文仍需要研究突破。此外，微调 API 也受到 GPU 可用性的限制，他们尚未采用有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖计算密集型。未来预计将提供更好的微调支持，并可能主持一个社区贡献模型市场。
而专用容量产品同样受限于 GPU 可用性，有些客户可以获得私人模型副本，只要愿意预先承诺10万美元支出。在近期路线图方面，OpenAI 计划：
2023年：降低“智能成本”，包括发布更便宜、快速的 GPT-4，以及长达100万令牌的上下文窗口。此外，将会扩展到最新模型的微调 API，并实现有状态的 API 版本，使得调用时不再需反复传递对话历史并支付令牌费用。
2024年：多模态功能作为 GPT-4 版本的一部分进行演示，但由于GPU数量不足，对所有人开放之前还需等待更多GPU部署。
至于插件，它们不会很快出现在API中，因为Sam认为很多开发人员希望在应用程序中使用ChatGPT，而不是通过API访问插件。他还表示OpenAI不会发布竞争对手产品，以避免与客户竞争。此外，他呼吁监管未来的模型，同时强烈主张开源重要性，并表示OpenAI正在考虑开源GPT-3，但尚未决定是否开源其余部分。这主要基于他对能力有限的人员和公司托管服务大型LLM这一点感到怀疑。
最后，由于性能扩展定律继续有效，大型 AI 模型仍然能够不断提升性能。这对于 AGI 开发时间表具有重大影响，不仅缩放假设暗示我们已经具备构建AGI所需的大部分组成部分，而且剩余工作也可以借助现有方法并扩展到更大的模型和数据集。如果规模化时代结束，那么 AGI 时间线可能会进一步延后。而当前情况则提示时间线较短。
