2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关于 OpenAI 未来开发工作内容。关键要点如下：
首先，OpenAI 目前受到 GPU 严重限制，这在整个讨论过程中成为一个共同主题之一。由于 GPU 的有限性，OpenAI 的许多短期计划被推迟，而客户最大的抱怨则是 API 可靠性和速度问题。Sam 承认了这些担忧，并解释说大部分问题都是由 GPU 短缺引起的。此外，即使是更长的 32k 上下文，也无法被广泛推广给更多人，因为 OpenAI 还未克服 O（n^2）的注意力扩展问题。
其次，微调 API 目前也受限于 GPU 可用性。而且，他们还没有使用有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖计算密集型。此后，将提供更好的微调支持，他们甚至可能主持一个社区贡献模型市场。
再者，专用容量产品同样受限于 GPU 可用性。为了访问此服务，客户必须愿意预先承诺10万美元的支出。
接下来，是 Sam 分享他认为 OpenAI API 暂时近期路线图的情报：
2023年：更便宜、更快的 GPT-4 是他们的首要任务。总体上，OpenAI 的目标是在时间推移中尽可能降低“智能成本”，因此他们将努力继续降低 API 成本。此外，上下文窗口将可能达到 100 万个令牌，同时对微调 API 进行扩展到最新模型，但具体形式取决于开发人员表示他们真正想要什么。
2024年：多模态功能将作为 GPT-4 版本的一部分进行演示，但在更多 GPU 上线之前，它们不能扩展到所有人。
然而，不会很快出现插件API中的插件。大多数开发人员对通过 API 访问 ChatGPT 插件感兴趣，但 Sam 表示这不会很快发布。他建议很多人认为他们希望在应用程序中有 ChatGPT，但实际上他们真正想要的是在应用程序中的 ChatGPT 使用情况。在避免与客户竞争方面，有少数开发人员表示，当 OpenAI 最终发布具有竞争力的产品时，他们感到紧张。但 Sam 表示 OpenAI 不会发布除了 ChatGPT 之外更多产品，他强调伟大的平台公司拥有杀手级应用程序历史，而 ChatGPT 将允许它们通过成为自己产品客户来改进 API。
此外，对未来模型需要监管但同时也需要开源的问题上，有观点呼吁对未来的模型进行监管，但是 Sam 强烈反对并指现有模型并不危险，而且监管或禁止它们是一个错误。他重申了他对开源重要性的信念，并表示 OpenAI 正考虑开源 GPT-3。不过，还有一些原因导致它尚未开放，比如怀疑是否有人或公司有能力托管和服务大型 LLM。
最后，由于最近一些文章声称“巨型 AI 模型时代已经结束”，Sam 强调了这一点是不准确的。这一点得到了内部数据所表明的事实，即模型性能仍然遵循扩展定律，使得随着时间增加而产生性能提高的大模式持续存在。这意味着即使缩放假设不成立，我们仍然可以期待 AGI 开发时间较短。如果缩放定律继续有效的事实对于 AGI 开发时间表具有重大影响，那么我们应该期待 AGI 时间线较短。
