2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关于 OpenAI 未来开发工作内容。关键要点如下：
首先，OpenAI 目前受到 GPU 严重限制，这在整个讨论过程中成为一个共同主题之一。由于 GPU 的有限性，OpenAI 的许多短期计划被推迟，而客户最大的抱怨则是 API 可靠性和速度问题。Sam 承认这些担忧，并解释说大部分问题都是由 GPU 短缺导致的。此外，即使拥有更长的 32k 上下文，也无法广泛推广给更多人，因为 OpenAI 还没有克服 O（n^2）的注意力扩展问题。
此外，微调 API 也受到 GPU 可用性的瓶颈限制，他们还未能有效地使用适配器或洛拉等微调方法，因此微调运行和管理非常依赖计算密集型。未来将提供更好的微调支持，并可能主持社区贡献模型的市场。而专用容量产品受限于GPU可用性，需要客户预先承诺10万美元支出才能访问。
接下来，Sam 分享了他认为 OpenAI 的API临时近期路线图包括：
2023年：更便宜、更快的 GPT-4 是他们首要任务，其目标是降低“智能成本”，随着时间推移持续降低 API 成本。此外，将来可能实现上下文窗口高达100万个令牌，以及对最新模型进行微调支持。但是，有状态的API版本仍需期待，以解决当前必须反复传递相同对话历史并重复支付令牌的问题。
2024年：多模态功能作为 GPT-4 版本的一部分进行了演示，但在更多GPU上线之前不能扩展到所有人。这意味着即使具有多模态功能，也只能在特定条件下体验，不会被普及应用于所有用户。
值得一提的是，由于插件通过API访问ChatGPT很有吸引力，但Sam表示这不会很快发布。他建议很多开发人员认为他们希望在应用程序中嵌入 ChatGPT，但实际上他们真正想要的是 ChatGPT 在其应用中的表现。在处理这些需求时，OpenAI 将避免与客户竞争，因为它不会发布除了 ChatGPT 之外的更多产品，而是致力于改进现有服务。
最后，对未来模型进行监管是一个重要议题，同时也存在开源的问题。尽管 Sam 呼吁对未来的模型加强监管，他相信现有模型并不危险，并认为监管它们将是一个错误。他重申了开源重要性的信念，并表示 OpenAI 正考虑开源 GPT-3，但是尚未决定是否这样做，一部分原因是怀疑是否有足够的人或公司能够托管和服务大型 LLM。
总之，无论如何，对AGI发展时间表影响巨大的缩放假设继续起作用的事实意味着我们可能已经具备构建AGI所需的大部分组成部分，只是在数据集和模型规模方面需要进一步提升。如果缩放时代已经结束，那么我们应该期待 AGI 时间线会更加遥远。而目前的情况显示，我们正在朝着这一方向前行。
