2025-02-24 数码 0
机器之心报道：OpenAI面临GPU短缺恐慌GPT-3或将开源，Sam Altman揭示未来发展计划
在科技的深渊中，我能点亮哪一颗星辰？Sam Altman将揭开OpenAI的神秘面纱，是否GPT-3将迎来开源的曙光？GPU短缺背后隐藏着什么样的恐慌？
近日，一篇博客文章通过网友上传的快照（副本）流传至网络，该博客内容涉及到OpenAI目前面临的最大问题——受限于GPU。文章指出，由于GPU短缺的问题，客户抱怨最多的是关于API可靠性和速度问题，而这些问题很大程度上是由GPU供应不足造成。
除了API可靠性的挑战外，更长的32k上下文窗口还未能够推向更多人群使用。当前，OpenAI仍未完全克服注意力机制O(n^2)扩展问题，但预计在今年内即将实现100k-1M token上下文窗口处理能力。更大的文本处理窗口需要进一步研究突破。
此外，微调API也受到GPU供应限制。在没有采用高效微调方法如Adapters或LoRa的情况下，对模型进行微调运行和管理都非常密集。据透露，将会推出更好的微调技术，并可能提供一个社区专门研究模型。
对于专用容量提供，也受到GPU供应限制。要使用此服务，客户必须愿意预先承诺支出10万美元。此外，这些服务也是受限于具体条件下的选择。
Sam Altman分享了OpenAI API近期路线图，其中包括2023年的目标和2024年的规划：
2023年：
推出更便宜、更快的GPT-4。
降低智能成本（the cost of intelligence），因此随着时间推移，API成本将降低。
提供更长上下文窗口 —— 在不久的将来，上下文窗口可能高达100万个token。
扩展微调API —— 微调API将扩展到最新模型，但其确切形式由开发人员决定。
状态API —— 将记住会话历史记录，以改善调用聊天API时重复支付相同token的情况。
2024年：
多模态功能作为GPT版本的一部分进行演示，但由于对 GPU 的依赖，它们不能被广泛应用。这意味着插件尚未有 PMF（产品市场适应度），并且不会很快成为 API 的一部分。此外，不同于与类似ChatGPT竞争以外，还有一种避免与其客户竞争的情形，即ChatGPT只允许平台公司利用它而不是直接发布自己的产品，从而使得 API 更加强大化。
尽管监管对未来模型发展至关重要，但Sam Altman认为现有模型并不危险，因此对它们实施监管或禁止是一个巨大的错误。他再次强调了开源技术对于促进人工智能健康发展至关重要，并表示 OpenAI 正考虑开放 GPT 3 源代码给公众。但他解释说，这主要是因为他们觉得没多少人和公司有能力妥善管理如此大型的人工语言模型系统。
最后，他澄清了一些关于“巨型人工智能时代结束”的讨论称，在内部数据显示扩展定律仍然有效，而且增大模型规模可以显著提高性能。这表明虽然继续以之前增长方式增加规模是不可能持续下去，但是这种增长模式并非已经结束，而是会以不同的方式继续前行，使得我们能够更加接近构建通用人工智能 (AGI) 的目标。如果这项发现准确无误，那么我们就能利用现有的方法快速达到 AGI 构建所需的大部分要素，只是在尺寸和数据方面做一些调整。而这一事实暗示着我们实现 AGI 可能比想象中要早很多。
