2025-02-08 智能 0
品玩6月1日讯,据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高级管理人员进行的深入探讨,揭示了该公司即将到来的发展蓝图。核心议题如下:
首先,OpenAI 目前面临着严重的 GPU 缺口限制,这不仅推迟了他们的短期计划,也是客户对 API 可靠性和速度抱怨的一个主要原因。Sam Altman 承认这些问题,并指出它们很大程度上源于 GPU 短缺。
其次,尽管 OpenAI 即将实现10万-1M令牌上下文窗口,但目前还无法提供更长的 32k 上下文,因为他们尚未克服 O(n^2)的注意力扩展挑战。此外,他们也在寻找有效微调方法,以改善当前受限于计算密集型任务的微调支持。
再者,专用容量产品同样受到 GPU 可用性的影响。要访问这些高端服务,客户需要预先承诺较大的资金投入。
接下来,我们了解到了 OpenAI 的近期路线图,其中包括:
2023年:开发更加经济实惠且性能更强的 GPT-4 版本,以及提升上下文窗口至100万令牌以上,并为 API 提供微调功能。
2024年:多模态功能将作为 GPT-4 的一部分推出,但由于仍需更多GPU资源,其普及速度可能有限制。
此外,由于插件化API可能会让开发者担忧竞争关系,因此 Sam 表示不会立即提供插件功能,而是希望通过 ChatGPT 来提升 API 的质量。此外,他呼吁监管模型使用,同时表示有意开源 GPT-3,以促进技术进步和透明度。
最后,与其他巨头不同的是,即使模型规模继续增长,它们每年的扩展速度并非逐渐加快,而是呈现一种不可持续但又不可避免的情况。这对于人工智能(AGI)研究时间表具有重要意义,因为缩放假设表明我们或许已经掌握了一些关键元素,只需进一步扩大数据集和模型大小就能达到AGI目标。如果这种情况确实如此,那么 AGI 实现所需时间可能会显著缩短。
上一篇:马云是马云 我是我