2025-02-08 智能 0
品玩6月1日讯,据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关于 OpenAI 未来开发工作内容。关键要点如下:
首先,OpenAI 目前受到 GPU 严重限制,这在整个讨论过程中成为一个共同主题之一。由于 GPU 的有限性,一些短期计划被推迟,而客户最大的抱怨是 API 可靠性和速度问题。Sam 承认了这些担忧,并解释说大部分问题都是由 GPU 短缺造成的。
其次,尽管即将到来的 32k 上下文还不能广泛推广给更多人,但 OpenAI 还没有克服 O(n^2)的注意力扩展,所以虽然他们很快就会有10万-1M代币上下文窗口(今年),但任何更大的事情都需要研究突破。此外,微调 API 目前也受限于GPU可用性,他们还没有使用有效的微调方法,因此微调运行和管理非常依赖计算密集型。但未来将提供更好的微调支持,并可能主持社区贡献模型的市场。
再者,OpenAI 提供专用容量产品,为客户提供模型的私人副本,但这要求客户预先承诺10万美元支出。
至于 OpenAI 的近期路线图,由 Sam 分享,他认为他们API临时近期路线图包括:
2023 年:更便宜、更快的 GPT-4——这是他们当前目标之一,以降低“智能成本”。随着时间推移,他们会努力继续降低 API 成本,更长上下文窗口——不久之后,上下文窗口可能高达100万个令牌;Finetuning API——微调 API 将扩展到最新模型,但形式取决于开发人员想要什么;以及一个有状态的 API 版本,将记住对话历史记录。
2024 年:多模态功能作为 GPT-4 版本的一部分进行了演示,但在更多 GPU 上线之前无法扩展到所有人。这意味着即使多模态功能已经准备好,它们也不会立即可用于所有用户,因为资源不足。
此外,不太可能很快看到通过API访问ChatGPT插件的大规模应用。许多开发人员对通过API访问ChatGPT插件感兴趣,但是Sam表明他认为这些插件不会迅速发布。他建议很多人认为他们希望它们能在 ChatGPT 中出现,但实际上,他们真正想要的是让它们在自己的应用程序中实现 ChatGPT 功能。
同时,不少开发人员表示,当OpenAI发布竞争性的产品时,他们会感到紧张,因为这可能影响使用OpenAI API进行构建。不过Sam 表示OpenAI不会发布除了 ChatGPT 之外更多产品。他说伟大的平台公司往往拥有杀手级应用程序,而ChatGPT将允许它们通过成为自己产品的客户来改进API。ChatGPT 的愿景是成为工作超级智能助手,同时还有许多未触及的人工智能用例等待探索,其中一些并不属于 Open AI 开发范围内处理的事务。
最后,在监管方面,有声音呼吁对未来模型进行监管,而 Sam 呼吁开放源代码。他相信现有模型并不危险,而且禁止或监管它们是一个错误。他重申开源重要性,并表示 Open AI 正考虑开源 GPT-3。不过,他怀疑是否有足够的人和公司能够托管并服务大型LLM。此外,他指出,即使“巨型 AI 模型时代”结束了,根据内部数据显示,对于提高性能而言,“规模化定律”仍然有效,这对于 AGI 发展时间表具有重大影响。如果缩放假设成立,那么我们可能已经具备构建AGI所需的大部分元素,只是在数据集和模型大小上做进一步扩展就能完成剩余任务。如果缩放定律仍然适用,那么 AGI 到来的时间更加接近现在。
上一篇:茶花品种丰富多彩的茶花世界