2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高级管理人员进行的深入探讨，揭示了该公司即将展开的一系列重大开发计划。这些计划旨在解决当前面临的主要挑战：GPU 资源紧缺和 API 可靠性问题。具体而言，OpenAI 目前正面临着 GPU 限制，这不仅推迟了他们短期内的许多计划，也是客户抱怨 API 不稳定和速度慢的直接原因。
尽管如此，OpenAI 已经明确表示，他们正在积极寻求解决方案来克服这一瓶颈。例如，他们正在努力扩大上下文窗口，以便能够处理更长的 32k 上下文。此外，他们也在研究新的注意力扩展方法，以实现更大的上下文窗口。这一进步预计将在今年内实现，但要达到更大规模则需要进一步突破。
此外，微调 API 也受到了 GPU 可用性的限制。目前，由于缺乏有效的微调方法，如适配器或洛拉，因此微调运行和管理变得非常计算密集型。但是，OpenAI 表示未来将提供更好的微调支持，并可能会主持一个社区贡献模型市场。
对于专用容量产品来说，它们同样受到 GPU 可用性的影响。在提供私人模型副本服务时，客户必须承诺10万美元支出才能使用此服务。这表明 OpenAI 正在为高端用户提供更加个性化和高效率的服务。
Sam Altman 在分享 OpenAI 的近期路线图时指出，在2023年，其首要任务就是开发一个成本更低、性能更强的大型语言模型 GPT-4。此外，他还提到，将来可能会有一个记住对话历史记录的大型语言模型版本，以及多模态功能，即 GPT-4 版本的一部分，但这需要更多可用的 GPU 资源才能扩展到所有用户。
然而，对于插件方面，由于插件尚未被考虑纳入 API 中，所以它们不会很快出现。不过，有些开发者仍然对通过 API 访问 ChatGPT 插件感到兴奋，而 Sam Altman 提醒这些开发者，他们真正想要的是他们应用程序中的 ChatGPT 而非单纯访问插件。
除了技术上的发展之外，Sam Altman 还呼吁对未来的人工智能进行监管，同时重申他对于开源重要性的信念。他认为现有的 AI 模型并不危险，并且禁止它们会是一个错误。而且，他表示 OpenAI 正在考虑开源 GPT-3，不过目前尚未决定是否公开，因为他担心只有少数机构具备托管和维护大型 LLM 的能力。
最后，与其他一些分析不同的是，不论如何，大规模 AI 模型继续表现出性能提升规律，这意味着即使每年增加几倍大小，也能带来显著性能提升。这一规律对 AGI 开发时间表具有重要意义，因为它暗示我们可能已经掌握了构建 AGI 所需的大部分关键技术，只需通过不断地数据集增长和算力提升就可以完成剩余工作。如果这一趋势持续，那么我们可能早日迎来 AGI 的诞生。
