2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关于 OpenAI 未来开发工作内容。关键要点如下：
首先，OpenAI 目前受到 GPU 严重限制，这在整个讨论过程中成为一个共同主题之一。由于 GPU 的有限性，一些短期计划被推迟，而客户最大的抱怨是 API 可靠性和速度问题。Sam 承认了这些担忧，并解释说大部分问题都是由 GPU 短缺造成的。
其次，尽管即将实现更长的 32k 上下文，但目前还无法推广给更多人。这是因为 OpenAI 还没有克服 O（n^2）的注意力扩展，所以虽然他们很快就会有10万-1M代币上下文窗口（今年），但任何更大的事情都需要研究突破。此外，微调 API 也受到了 GPU 可用性的瓶颈影响，他们尚未使用有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖计算密集型。未来将提供更好的微调支持，有可能甚至主持社区贡献模型的市场。
再者，专用容量产品也受限于GPU可用性。在提供专用容量服务时，即为客户提供模型私人副本，以便访问此服务，客户必须预先承诺10万美元支出。
接下来的是OpenAI近期路线图分享：
2023年：目标是推出一款成本更低、性能更强大的 GPT-4 版本，这是他们当前主要任务之一。
2023年后续：计划进一步降低API成本，并扩展上下文窗口至高达100万个令牌。此外，将会对最新模型进行微调支持，让开发人员根据自己的需求定制API形式。
2024年：多模态功能作为GPT-4版本的一部分进行展示，但在更多GPU资源部署之前，不得不暂缓对所有用户开放。
值得注意的是，由于插件仍未考虑加入到API之中，大多数开发人员对于通过API直接访问ChatGPT插件表示兴趣，但Sam表明这项功能不会很快实现。他建议很多人认为他们希望应用程序中的ChatGPT能力，但是实际上，他们真正想要的是让ChatGPT融入到他们应用程序中去。
同时，不少开发者表示，当OpenAI发布竞争同类产品时，他们会感到紧张，因为这可能会使它们与OpenAI产生竞争关系。然而,Sam坚称OpenAI不会发布除了ChatGPT以外的大型产品，他指出伟大的平台公司往往拥有杀手级应用历史，而ChatGPT正致力于成为一种超级智能助手，对其改进极为重要。
最后，在监管以及开源方面,Sam呼吁对未来模型实施监管，同时重申他对开源重要性的信念，并表示OpenAI正在考虑开源其现有的GPT-3模型。不过，他怀疑是否有足够的人和公司能够托管并维护庞大的LLM而导致这一决定尚未成行。
此外，与许多文章所声称“巨型 AI 模型时代已结束”相反，是基于内部数据显示了模型性能继续随着规模增长而提升的事实。这意味着即便不能每年保持相同数量级增长，只要能保持每年的翻番或者三倍增长，就可以持续提高性能，从而对于AGI发展时间表具有重大影响。如果缩放假设成立，那么我们可能已经掌握构建AGI所需的大部分基础设施，只需通过现有方法向较大规模和数据集扩展；如果缩放定律继续有效，则预计AGI将更加接近。但无论如何，都证实了时间线较短化是一个趋势。
