2025-02-07 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高层、包括 Sam Altman 在内的 20 位开发者进行深入探讨，这次闭门会议揭示了 OpenAI 未来发展的一些关键点。首先，当前 OpenAI 面临的最大挑战是 GPU 资源严重不足，这导致了许多短期计划被推迟。用户最主要抱怨的是 API 的可靠性和响应速度，而 Sam Altman 坦承这些问题主要源于 GPU 短缺。
此外，虽然他们即将实现 10万-1M 代币上下文窗口，但任何更大规模的扩展仍需突破 O（n^2）的注意力扩展限制。而微调 API 也受到 GPU 可用性的极大影响，他们目前还未采用有效的微调方法，如适配器或洛拉，因此微调运行与管理都非常依赖计算资源。此后，他们将提供更好的微调支持，并可能引入社区贡献模型市场。
OpenAI 还提供专用容量产品，让客户可以拥有私人模型副本，但要访问这个服务，客户必须预先承诺10万美元投资。这是对近期 OpenAI 路线图的一个概览，其中2023年的目标之一就是推出成本更低、速度更快的 GPT-4版本。随着时间推移，OpenAI 将持续努力降低 API 的使用成本。
在不久的将来，上下文窗口可能达到100万令牌长度；Fine-tuning API 将延伸到最新模型，但具体形式取决于开发者的需求；而有状态的 API 版本也将会逐步实现，以便记住对话历史记录，不再需要每次调用都传递相同数据支付费用。
至于2024年，则预计会见证多模态功能的大幅度提升，这一技术作为 GPT-4 版本的一部分已经进行过演示，但由于GPU数量限制，它们尚未能扩展给所有用户。
值得注意的是，对于通过API接入ChatGPT插件这一想法，由於Sam Altman认为这样的插件不会很快发布，以及他建议很多人的应用程序中真正想要的是 ChatGPT 而非其它插件，所以这项技术似乎并不太可能在短期内出现。此外，由於一些开发者担心OpenAI未来发布竞争产品时对现有用户构成威胁，而Sam Altman则表示OpenAI不会发布以外聊天机器人的其他产品，他相信伟大的平台公司应该拥有能够改进自己的产品和服务能力的小型杀手级应用程序。
尽管如此，有些人呼吁对未来的人工智能模型实施监管措施，而Sam Altman则强烈认为现有的模型并没有危险性，并且禁止它们是一种错误。他重申了开源对于行业发展至关重要性的信念，并表示Open AI正在考虑开源GPT-3。不过，由於怀疑是否有人或机构能够托管和维护庞大的LLM，他暂时没有行动。在内部数据显示的情况下，即使巨型 AI 模型时代被否定，其性能却继续沿着既定的规律增长，使得不断增加其规模成为一种可能性。如果缩放假设正确，那么AGI（通用人工智能）的发展时间表可能会更加迅速。但如果缩放定律继续有效的事实意味着我们距离 AGI 之路还有很远的话，那么就无法确定现在所做的事情是否足以让我们早日达成这一目标。
