2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高层包括 Sam Altman 及其他 20 位开发者进行的闭门讨论中透露的一些关键信息，显示了 OpenAI 未来发展战略的重要要素。首先，当前的 GPU 限制成为本次讨论中的共同焦点之一，因为这些资源严重不足已延迟了 OpenAI 的许多短期计划。用户主要抱怨的是 API 可靠性和速度问题，这些问题大部分源于 GPU 短缺情况。
此外，由于长上下文（32k）目前无法广泛推广给更多人而且还未克服 O(n^2) 的注意力扩展挑战，即使今年将实现10万到1百万代币上下文窗口，但更大的应用仍需要进一步研究突破。此外，微调 API 目前也受限于可用的 GPU 资源，而有效微调方法如适配器或洛拉尚未被采用，因此微调运行和管理显得非常计算密集型。未来预计会提供更好的微调支持，并可能推出社区贡献模型市场。
OpenAI 还提供专用容量产品，以供客户获得私有模型副本，但这一服务受限于GPU资源。这项服务要求客户承诺至少10万美元的支出才能访问。此外，Sam分享了他认为 OpenAI API 长期路线图的大致轮廓。
2023 年：目标是推出更便宜、更快的 GPT-4 版本，以及继续降低 API 成本，使“智能成本”更加合理。在不久的将来，上下文窗口可能达到100万令牌。而对于 Finetuning API，将扩展到最新模型，但具体形式取决于开发者的需求。一旦实现，将有一种记住对话历史记录的API版本出现。
2024年：多模态功能作为 GPT-4 版本的一部分进行展示，但是由于在更多GPU部署之前不能扩展给所有人，所以暂时无法普及。
值得注意的是，对插件通过API访问 ChatGPT 的兴趣较高，但Sam 表示这方面不会很快得到满足。他指出虽然很多开发者希望在自己的应用中使用ChatGPT，但是他们真正想要的是ChatGPT能完美融入他们应用中的方式，而不是单纯地通过API接入。此外，有些开发者担忧当OpenAI发布竞争产品时，他们可能会感到紧张，因为OpenAI不会发布除ChatGPT之外的大量产品。相反，它们打算利用ChatGPT提升其API，从而避免与客户直接竞争，同时让平台公司能够拥有杀手级应用程序，如以往所见。
尽管Sam呼吁对未来模型进行监管，他认为现有的模型并不危险，并相信过度监管或禁止它们是一个错误。他重申了开源重要性的信念，并表示OpenAI正在考虑开源 GPT-3。但是，由于怀疑是否有人和公司能托管并维护如此庞大的LLM，他表示还有保留意见。此外，他强调虽然最近有些文章声称“巨型 AI 模型时代已经结束”，但根据内部数据表明，与此不同的是，性能随着规模增长继续改善，这意味着即使每年只能增加一倍或者三倍，大型化依然是可行且持续发展下去的事实。这对AGI研发时间表具有重大影响。如果缩放假设成立，那么我们已经具备构建AGI所需的大部分工具，只需将其扩展到更大尺寸和数据集；如果缩放定律终结，那么我们可能需要期待AGI完成时间比想象中要晚。不论如何，都可以看出，如果缩放定律继续有效，那么我们的路径至关重要。
