2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些内容，显示了OpenAI未来发展工作的重要方向。首先，参与讨论的人们普遍关注的是当前 OpenAI 面临的 GPU 储备不足问题，这种限制导致了他们许多短期计划的推迟。客户主要抱怨的是 API 的可靠性和响应速度，而 Sam 表示这些问题大部分是由 GPU 短缺所致。
此外，由于目前还无法克服 O（n^2）的注意力扩展问题，即便他们很快将实现10万-1M代币上下文窗口，也只能应用在更小规模的情况下。而微调 API 同样受到 GPU 可用性的影响，他们尚未采用有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖计算资源。在未来，将提供更好的微调支持，并可能建立一个社区贡献模型市场。此外，专用容量产品也受限于GPU可用性。
Sam 分享了他对 OpenAI 接下来一段时间内API路线图的看法：
2023年：降低成本、提高效率。目标是尽可能降低“智能成本”，因此随着时间推移，他们将努力继续降低 API 的使用成本。这包括提供更长上下文窗口——预计到达100万令牌，以及Fine-tuning API 扩展到最新模型，但具体形式取决于用户需求。此外，还会推出一个有状态的API版本，以记住对话历史记录，从而减少重复传递相同信息并支付令牌费用。
2024年：多模态功能。这将作为 GPT-4 版本的一部分进行展示，但由于GPU资源限制，它们不能被广泛部署给所有人。
值得注意的是，不太可能很快看到通过API访问ChatGPT插件，因为Sam认为这些插件不会迅速发布。他强调，有些开发者希望通过构建聊天机器人来利用ChatGPT，但实际上他们真正想要的是让ChatGPT成为应用程序中的组成部分。同时，尽管有些开发者担心OpenAI最终会发布竞争对手产品，但Sam表示OpenAI不会发布除 ChatGPT 之外的大型产品。他解释说伟大的平台公司往往拥有杀手级应用程序，而 ChatGPT 将使它们能够通过成为自己的客户来改进API，使其成为工作场所超级智能助手，同时保持很多不涉及到的其他 GPT 应用案例。
最后,Sam呼吁监管未来的模型，同时强调开源对于技术发展至关重要。他认为现有的模型并不危险，并且监管或禁止它们是一个错误选择。他重申了他关于开源重要性的信念，并指出 OpenAI 正在考虑开源 GPT-3。不过，他也表明有疑问是否有人能托管和服务大型LLM。
此外，对于那些声称“巨型 AI 模型时代已经结束”的观点，内部数据表明缩放定律仍然有效，即使随着时间的推移，大型模型带来了显著性能提升。但这种扩展速度并不持续，因为从几百万倍增长转变为每年增加一倍或三倍则不可持续。这意味着虽然我们可以期待AGI更加接近，我们也应该准备好面对缩放假设背后的挑战。如果缩放定律继续成立，那么AGI发展可能会比预想得要早发生。
