2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高级管理人员及20位开发者进行闭门讨论，透露了OpenAI未来发展计划的部分内容。主要亮点包括：首先，OpenAI目前面临着严重的GPU限制，这导致了他们短期内许多计划的推迟。客户最大的抱怨是API可靠性和速度问题，而Sam Altman承认并解释这些问题大多数源自GPU短缺。此外，即使有32k上下文长度，但也无法普及给更多用户，因为OpenAI还未克服O（n^2）的注意力扩展挑战。
其次，微调API同样受限于GPU资源。大型模型的微调至今尚未找到有效方法，如适配器或Lora，因此运行和管理非常依赖计算密集型。未来将提供更好的微调支持，并可能会推出社区贡献模型市场。而专用容量产品则受到GPU可用性的限制，其中客户需要预先承诺10万美元支出以访问此服务。
再者，关于OpenAI近期路线图，Sam分享了他认为API临时路线图如下：2023年，将推出更便宜、更快的GPT-4；长期目标是降低“智能成本”，逐步降低API费用；在不久的将来，上下文窗口可能达到100万令牌；微调API将扩展到最新模型，但形式取决于开发者的需求；而且，将有一种记住对话历史记录的API版本。
2024年，则将重点放在多模态功能上，这作为GPT-4版本的一部分进行展示，但由于更多GPU资源尚未部署，对所有人来说仍然不可见。值得一提的是，由于插件不会很快发布，以及OpenAI不会发布竞争产品，它们避免与客户直接竞争的问题，也被讨论了。
最后，有关监管和开源的问题也被探讨，其中Sam呼吁对未来模型进行监管，但同时强调现有模型并不危险，并认为监管或禁止它们是一个错误。他重申开源重要性，并表示OpenAI正在考虑开源GPT-3。不过，他怀疑是否有人能够托管和服务大型LLM，是一个原因之一阻碍开放-source化。此外，他指出尽管很多文章声称“巨型AI模型时代已经结束”，但内部数据显示性能扩展定律继续有效，使得随着时间推移，大规模LLM变得更加高效。这对于AGI开发时间表具有重大影响，同时缩放假设的事实提示时间线较短。
