2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高层包括 Sam Altman 及其他20位开发者进行的闭门讨论中透露的一些关键信息显示，OpenAI 目前正面临着严重的 GPU 限制，这不仅推迟了他们许多短期计划，也是客户对 API 可靠性和速度抱怨的主要原因。Sam Altman 承认了这些问题，并解释说大部分问题都源于 GPU 短缺。
尽管更长的32k上下文还不能广泛推广给更多用户，但 OpenAI 正在努力克服 O(n^2) 的注意力扩展挑战，以实现10万-1M代币上下文窗口（预计今年实现）。然而，对于更大的模型，OpenAI 还需要进一步的研究突破。
目前微调 API 也受到 GPU 可用性的限制。由于没有有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖计算密集型资源。未来，OpenAI 计划提供更好的微调支持，他们甚至可能会主持一个社区贡献模型市场。
专用的容量产品同样受限于GPU可用性。此外，为了访问这些服务，客户必须承诺至少10万美元的支出。
关于 OpenAI 的近期路线图，我们可以期待以下几个方面：
2023年：GPT-4 将成为他们首要任务，其目标是降低“智能成本”，并逐步降低 API 成本。在不久的将来，上下文窗口可能达到100万令牌水平。API 微调将扩展到最新模型，但具体形式将取决于开发者的需求。一款有状态的API版本也在规划中，将记住对话历史记录，从而减少重复传递相同对话历史并多次支付令牌的情况。
2024年：多模态功能作为 GPT-4 版本的一部分进行展示，但由于缺乏足够数量的大规模分布式计算资源，它们无法被所有人使用。这意味着，在更多 GPU 上线之前，这些功能只能针对少数幸运用户开放。
值得注意的是，由于插件通过API访问 ChatGPT 而引起强烈兴趣，一些开发人员希望能通过API直接获取插件。但根据 Sam 的看法，这种可能性并不迫切，因为他认为人们真正想要的是应用程序中的 ChatGPT，而非通过ChatGPT 访问应用程序。他强调，即使最终发布了竞争产品，OpenAI 也不会放弃其核心优势——成为世界上最伟大的平台公司之一，他指出平台公司往往拥有“杀手级”应用程序，而这正是 ChatGPT 希望达到的目标——成为工作场所超级智能助手，同时为其他 GPT 用例留出空间以避免与客户直接竞争。
对于监管与开源的问题，有声音呼吁应对未来的模型进行监管，同时也提出了开源重要性的观点。Sam 表示虽然现有的模型尚未危险，但他仍然支持监管，并且表达了对于开源 GPT-3 的考虑。他认为只有当个人和企业能够托管和服务大型LLM时，他们才会考虑这一选择。而内部数据显示，无论如何，大型 AI 模型性能随着规模增长而继续提升，这一事实对于 AGI 开发时间表具有重大影响。如果缩放假设得到证实，那么我们可能已经具备构建AGI 所需的大部分技术，只需将其扩展至更大的模型和数据集即可。如果这种情况如此，那么我们应该期待 AGI 时间表更加紧迫，因为缩放定律继续成立的事实是一个明确提示时间线较短的情境。
