2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关于 OpenAI 未来开发工作内容。关键要点如下：
首先，OpenAI 目前受到 GPU 严重限制，这在整个讨论过程中成为一个共同主题之一。由于 GPU 的有限性，一些短期计划被推迟，而客户最大的抱怨是 API 可靠性和速度问题。Sam 承认了这些担忧，并解释说大部分问题都是由 GPU 短缺造成的。此外，更长的 32k 上下文还不能广泛推广给更多人，因为 OpenAI 还未克服 O(n^2) 注意力扩展的问题。
其次，微调 API 也受到 GPU 可用性的瓶颈影响，他们还没有使用有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖计算密集型。未来将提供更好的微调支持，并可能主持社区贡献模型市场。而专用容量产品受限于 GPU 可用性，客户必须预先承诺10万美元支出才能访问此服务。
接着,Sam 分享了他认为 OpenAI 的API临时近期路线图如下：
2023年：更便宜、更快的 GPT-4 是他们首要任务，其目标是降低“智能成本”。随着时间推移，他们将继续努力降低 API 成本。更长上下文窗口（可能高达100万令牌）以及 finetuning API 将扩展到最新模型，但形式取决于开发人员需求。此外，将有一个记住对话历史记录的有状态 API 版本。
2024年：多模态功能作为 GPT-4 版本的一部分进行演示，但在更多GPU上线之前无法扩展到所有人。
然而，对插件在API中的出现表示怀疑，因为许多开发人员对通过API访问ChatGPT插件感兴趣，但Sam认为它们不会很快发布。他建议很多人希望应用程序中的ChatGPT，而不是通过ChatGPT访问应用程序。此外，虽然有些开发人员因为竞争担忧而紧张，当OpenAI发布对他们具有竞争力的产品时，他强调OpenAI不会发布以外之物，比如其他产品以避免与客户直接竞争。
此外，在监管方面，有呼吁对未来的模型进行监管，但Sam认为现有模型并不危险，而且他重申了开源重要性的信念，并表示OpenAI正在考虑开源 GPT-3。不过，由于怀疑是否有人能托管和服务大型LLM，他尚未开源一部分原因所致。
最后，有观点声称“巨型 AI 模型时代已经结束”，但根据内部数据表明，模型性能扩展定律仍然有效，使得使模型更加庞大会持续产生性能提升。如果缩放假设成立，那么我们可能已经具备构建AGI所需的大部分基础设施，而剩余的大部分工作将采用现有方法并将其扩展到更大的模型和数据集。但如果规模化时代已经结束，那么我们可能需要期待AGI达到较远的地方。
