2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关于 OpenAI 接下来的开发工作内容。首先，OpenAI 目前受到 GPU 严重限制，这是他们短期计划推迟的共同原因之一。客户最大的抱怨是 API 可靠性和速度问题，而 Sam 承认并解释了这些问题主要由 GPU 短缺所导致。
此外，由于长达 32k 上下文还无法广泛推广，OpenAI 还未克服 O（n^2）的注意力扩展问题，因此尽管将实现10万-1M代币上下文窗口（今年），但更大的事项需要进一步研究突破。此外，微调 API 也受限于 GPU 可用性，他们尚未采用有效的微调方法，如适配器或洛拉，因此微调运行和管理极为计算密集型。未来将提供更好的微调支持，并可能主持社区贡献模型市场。
专用容量产品同样受限于GPU可用性。虽然OpenAI为客户提供专用的私人模型副本，但要访问该服务，客户需预先承诺10万美元支出。这也是他们近期路线图的一个关键要点。
2023年：更便宜、更快的 GPT-4 是他们当前目标之一。在这一年里，他们努力降低“智能成本”，因此随着时间推移，将继续降低 API 成本。此外，将来会有一个记住对话历史记录的API版本，以解决现在每次调用聊天 API 时必须反复传递相同对话历史并多次支付令牌的问题。
2024年：多模态功能作为 GPT-4 版本的一部分进行演示，但由于在更多GPU上线之前不能扩展给所有人，所以只能等待进一步发展。而插件则不会很快在API中出现，因为许多开发人员对通过API访问ChatGPT插件感兴趣，但Sam认为这需要更多时间以确保它们拥有足够的人群使用率（PMF）。
此外，对于那些担心OpenAI可能发布竞争产品而使其构建应用程序感到紧张的情况，Sam表示OpenAI不会发布除了 ChatGPT 之外的大型产品。他认为伟大的平台公司拥有杀手级应用程序的历史，而且 ChatGPT 将允许它们通过成为自己的产品用户来改进API。
最后，对于监管和开源的问题，一方面有呼吁对于未来模型进行监管；另一方面，有信念对于现有模型不应被禁止，并且相信监管或禁止它们是一个错误。他重申了他对开源重要性的信念，并表示 OpenAI 正考虑开源 GPT-3。不过，他怀疑是否有人能托管和服务大型 LLM 的能力，使得开放部分仍然存在挑战。
总之，在模型性能扩展定律仍然有效的情况下，即使巨型 AI 模型时代结束的声音四起，这并不意味着 AGI 开发时间表会延长，只是缩放假设得到证实，我们已经具备构建 AGI 所需的大部分基础设施，只是在数据集规模上再做优化。如果缩放定律继续成立，那么我们可以期待 AGI 时间表较短。
