2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关于 OpenAI 未来开发工作内容。关键要点如下：
首先，OpenAI 目前受到 GPU 严重限制，这在整个讨论过程中成为一个共同主题之一。由于 GPU 的有限性，一些短期计划被推迟，而客户最大的抱怨是 API 可靠性和速度问题。Sam 承认了这些担忧，并解释说大部分问题都是由 GPU 短缺导致的。
其次，尽管即将到来的 32k 上下文还不能广泛推广给更多人，但 OpenAI 还没有克服 O（n^2）的注意力扩展，所以虽然他们很快就会有10万-1M代币上下文窗口（今年），但任何更大的事情都需要研究突破。此外，微调 API 目前也受限于GPU可用性，未来将提供更好的微调支持。
再者，专用容量产品同样受限于GPU可用性。在访问此服务时，要预先承诺10万美元的支出。这表明OpenAI近期路线图包括：
2023年：降低“智能成本”，目标是让GPT-4更加便宜且快速。此外，将会增加上下文窗口至100万个令牌，并扩展微调API到最新模型，同时实现一个记住对话历史记录的API版本。
2024年：多模态功能作为GPT-4版本的一部分进行演示，但这需要更多GPU资源才能扩展给所有用户。
值得一提的是，由于插件可能不会很快发布，以及避免与客户竞争的问题，使得一些开发人员对于使用OpenAI API感到紧张。而Sam表示ChatGPT将允许它们通过成为自己产品的客户来改进API，以致成为工作中的超级智能助手。但也有许多未触及的其他 GPT 用例。
最后，不少开发人员呼吁监管未来的模型，但Sam认为现有模型并不危险，并强烈主张开源。他认为开源 GPT-3 是一种重要途径，并表示OpenAI正在考虑这一点，因为他怀疑是否有足够的人或公司能够托管和服务大型LLM。
此外，对于那些声称“巨型 AI 模型时代已经结束”的观点，内部数据显示，即使模型性能继续增长，它们每年的增长速度却难以维持。这不仅影响了AGI发展时间表，也提示缩放假设可能仍然有效，即我们可能已经拥有构建AGI所需的大部分组成部分，只待应用现有方法并扩展到更大的模型和数据集。
