2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关于 OpenAI 未来开发工作内容。关键要点如下：
首先，OpenAI 目前受到 GPU 严重限制，这在整个讨论过程中成为一个共同主题之一。由于 GPU 的有限性，一些短期计划被推迟，而客户最大的抱怨是 API 可靠性和速度问题。Sam 承认了这些担忧，并解释说大部分问题都是由 GPU 短缺造成的。
其次，尽管即将实现更长的 32k 上下文，但目前还无法推广给更多人。这是因为 OpenAI 还没有克服 O（n^2）的注意力扩展，所以虽然他们很快就会有10万-1M代币上下文窗口（今年），但任何更大的事情都需要研究突破。此外，微调 API 也受到了 GPU 可用性的瓶颈，他们还没有使用有效的微调方法，因此微调的运行和管理非常依赖计算密集型。在未来，将提供更好的微调支持，并可能主持一个社区贡献模型的市场。
再者，专用容量产品也受到了 GPU 可用性的限制。为了访问此服务，客户必须愿意预先承诺10万美元的支出。
接下来，是 Sam 分享他认为 OpenAI 的 API 临时近期路线图的情况。他表示，在2023年，他们将努力降低“智能成本”，因此随着时间推移，他们将继续努力降低 API 的成本。此外，他们希望在不久的将来提供更长上下文窗口，即高达100万个令牌，以及扩展到最新模型的小型化支持。当你今天调用聊天 API 时，你必须反复传递相同对话历史并一次又一次地为相同令牌付费；而未来会有一种记住对话历史记录的版本。
至于2024年，由于 GPT-4 版本已经展示了多模态功能，但由于更多GPU未能提前部署，它们不能扩展到所有用户。而且，不少开发人员对通过API访问ChatGPT插件感到兴奋，但Sam表示这些插件不会很快发布，因为它们还没有形成市场潜力。他建议许多人认为他们希望应用程序中的ChatGPT，但是实际上他们真正想要的是应用程序中的ChatGPT功能。
此外，当OpenAI可能最终发布具有竞争力的产品时，有些开发人员感到紧张。但Sam表明OpenAI不会发布除ChatGPT之外的大多数产品，他指出伟大的平台公司拥有杀手级应用程序丰富历史，而 ChatGPT 将允许它们通过成为自己产品客户来改进API。ChatGPT 的愿景是成为工作超级智能助手，但还有很多OpenAI 不会触及的问题存在于其他 GPT 用例中。
最后，在监管方面，有人呼吁对未来模型进行监管，同时也有开源的声音。在监管或禁止现有模型方面，有声音提出这是错误做法，而 Sam 强烈信仰开源重要性，并表示 OpenAI 正考虑开源 GPT-3。不过，由于怀疑是否有人和公司有能力托管和服务大型 LLM，这一决定尚未作出。此外，对AGI发展时间表影响重大的事实是：模型性能增长定律仍然有效，使得随着每年的三倍增长，大型语言模型变得越来越强大。如果缩放假设成立，那么我们可能已经具备构建AGI所需的大部分基础设施，只需将其扩展到更大的数据集和模式。这意味着我们可以期待 AGI 发展速度加速而不是减慢，如果缩放定律继续保持的话则更加如此。
