2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高级管理人员进行的深入探讨，揭示了该公司即将展开的一系列关键开发工作。这些工作包括：首先，目前OpenAI面临着严重的GPU资源限制，这导致了他们短期计划的延迟以及API可靠性和速度问题。Sam Altman 承认这一点，并解释称，大部分问题源于GPU短缺。
此外，更长上下文窗口（32k）尚未能广泛推广给用户，因为OpenAI仍需突破O(n^2)注意力扩展技术，以实现更大上下文窗口。此外，微调API也受限于GPU可用性，他们尚未采用有效的微调方法，如适配器或Lora，因此微调运行和管理非常依赖计算密集型。未来预计会提供更好的微调支持，并可能引入社区贡献模型市场。
专用的容量产品同样受到GPU限制，其中客户可以获得私有模型副本，但必须承诺10万美元支出。这是他们近期路线图中的一项重要内容。
2023年目标包括发布一个更便宜、更快的GPT-4版本，以及增加上下文窗口到100万令牌左右，同时扩展Fine-tuning API以支持最新模型。此外，将来还将推出一个记住对话历史记录的API版本，以减少多次调用相同对话历史时所需支付令牌次数。
至于插件，其普及不太可能在即使较近期内迅速增长。尽管开发者对于通过API访问ChatGPT插件感兴趣，但Sam认为这需要更多时间才能实现。他强调，对应用程序中的ChatGPT需求远超过其独立存在，而非PMF（产品市场匹配）。
OpenAI也表示不会直接与客户竞争，即使它们最终发布具有竞争力的产品。在Sam看来，这是因为伟大的平台拥有杀手级应用程序的历史，而ChatGPT正成为这种模式下的典范之一，它允许用户通过成为自己服务的一个客户来改进它。
同时，对未来模型进行监管也是必要而且被提倡的事项。但是Sam认为现有模型并不危险，并呼吁开放源代码以促进透明度和信任。他指出虽然考虑过开源GPT-3，但是怀疑是否有人能够托管并服务如此庞大的LLM（大型语言模型）。
最后，不断提高性能规模定律继续影响整个领域，使得随着时间推移，每个新一代的大型语言模型都显著超越前一代。这意味着AGI（通用人工智能）的开发时间表可能比我们想象地要接近许多，而且缩放假设，即我们已经具备构建AGI所需的大部分基础设施，一直保持有效。如果这个定律继续有效，那么AGI到来的日期可能就不再遥不可及。
