2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高级管理人员进行的深入探讨，揭示了该公司即将展开的一系列重大开发计划。这些计划旨在解决当前面临的主要挑战：GPU 资源紧缺和 API 可靠性问题。在这次闭门会议中，Sam Altman 等高层人物公开承认了这些问题，并指出大部分问题都源于对 GPU 的严重依赖。
更为关键的是，他们目前无法推广到更长的 32k 上下文，因为 OpenAI 还未克服 O(n^2) 的注意力扩展难题。尽管他们预计今年将实现10万-1M代币上下文窗口，但任何更大的进展都需要进一步的研究突破。此外，微调 API 目前也受到 GPU 可用性的限制，他们尚未采用有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖计算密集型资源。
未来，他们计划提供更好的微调支持，并可能会推出一个社区贡献模型市场。而专用容量产品同样受限于 GPU 可用性，这使得客户必须预先承诺10万美元才能获得此服务。
对于 OpenAI 的近期路线图，Sam 分享了以下几个重点：
2023年：目标是开发一款更加便宜且快速的 GPT-4 版本，以降低“智能成本”。此外，他们计划实现更长上下文窗口（可能达到100万令牌）以及对最新模型进行微调支持。
2024年：多模态功能将作为 GPT-4 版本的一部分进行演示，但由于GPU资源限制，这项功能暂时只能向少数人提供。插件方面，由于其复杂性和PMF（产品市场匹配）的考量，它们不会很快被整合至 API 中。
值得注意的是，OpenAI 将避免与客户直接竞争，而是致力于通过 ChatGPT 提供改进后的 API。这有助于成为自身产品用户，从而提升API质量。ChatGPT 设想成为工作中的超级智能助手，其潜在应用远不止这一点。但同时，也存在监管需求的问题，即使 Sam 支持监管，他仍然认为现有模型并不危险，并不支持禁止它们。他强烈倡导开源，同时表示 OpenAI 正在考虑开源 GPT-3。
最后，不同的声音声称“巨型 AI 模型时代已经结束”，但实际情况是，大型模型性能还能继续得到显著提升，这对 AGI 开发时间表具有重要影响。如果缩放假设成立，那么 AGI 就可能比我们预期要早一些到来；然而，如果缩放定律持续有效，那么AGI 时间线就可能提前到来。这场辩论反映出了行业内关于技术发展速度和规模化能力的大范围讨论。
