2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高级管理人员进行的深入探讨中，披露了 OpenAI 未来开发工作的一些关键点。首先，当前 OpenAI 面临的主要挑战是 GPU 资源极度有限，这导致了他们短期计划的延迟以及 API 可靠性和速度问题。Sam Altman 承认这一困扰，并解释这些问题大部分源自于 GPU 短缺。
此外，更长上下文（32k）仍未能普及到更多用户，因为 OpenAI 尚未解决 O(n^2) 的注意力扩展难题，因此即便未来能够实现 10万-1M 代币上下文窗口，也无法实现更大的上下文推广。此外，微调 API 目前也受到 GPU 可用性的限制，而有效微调方法，如适配器或洛拉尚未被采用，因此微调运行和管理非常依赖计算密集型。未来将提供更好的微调支持，并可能推行社区贡献模型市场。
OpenAI 还提供专用容量产品，但受限于GPU可用性。在2023年，OpenAI 的近期路线图包括降低 GPT-4 的成本，使其更加高效、快速，同时增加更长的上下文窗口，以及对 API 微调支持的扩展。此外，将来会有一个记住对话历史记录的API版本。
在2024年，多模态功能将作为 GPT-4 版本的一部分进行演示，但由于GPU资源限制，这一功能目前只能为少数人使用。值得注意的是，一些开发者对于通过API访问ChatGPT插件感到兴趣，但Sam表明这些插件不会很快发布。此外，一些开发者担心OpenAI可能会发布竞争产品，但Sam表示OpenAI不会发布以外ChatGPT之外更多产品。
最后，对于监管和开源的问题,Sam呼吁对未来模型进行监管，同时重申他对开源重要性的信念，并表示OpenAI正在考虑开源GPT-3。这背后原因之一是他怀疑是否有足够的人员和公司可以托管并服务大型LLM。此外，他还指出，即使“巨型 AI 模型时代”已结束，该模型性能扩展定律仍然有效，这意味着随着时间的推移，每年的性能提升可能仅为一倍或三倍而非数量级增长。这不仅影响AGI发展时间表，而且强烈暗示缩放时代将持续较短时间内。
