GPU短缺引领的紧张局面下GPT-3或将揭开开源之幕Sam Altman如何应对

Sam Altman与开发者深入探讨OpenAI面临的挑战：GPU短缺引发GPT-3开源悬念

在全球范围内，人工智能大模型如ChatGPT和GPT-4的出现，不仅带来了技术革新，也引发了对其可控性和未来发展方向的广泛关注。图灵奖得主Geoffrey Hinton、Yoshua Bengio等多位AI领域专家曾警告称，大模型可能会导致一系列风险，并呼吁暂停后续大模型的研发。

作为这些大模型背后的公司，OpenAI正受到极大的压力。CEO Sam Altman近期进行了一系列全球巡回演讲，以消除人们对人工智能产生的恐惧，同时聆听产品开发人员和用户的声音。在闭门会议中，Altman详细阐述了OpenAI目前面临的问题以及未来的路线图。

据报道，当前OpenAI面临的一个主要问题是受限于GPU（图形处理单元）资源。这不仅延迟了他们一些短期计划，还影响了API（应用程序编程接口）的可靠性和速度。Altman承认这一问题，并解释说客户抱怨的大部分原因是由GPU短缺所致。

此外，更长上下文窗口（如32k）尚未能被推向更多用户，因为还没有完全克服注意力机制O(n^2)扩展问题。尽管预计在今年内能够实现100k到1M token上下文窗口，但更大的文本处理能力仍需进一步研究突破。此外，由于高效微调方法，如Adapters或LoRa，对计算密集型，因此微调API也受到限制。而且提供专用容量服务也受限于GPU供应，这意味着客户需要预先承诺支出10万美元才能使用该服务。

Altman分享了OpenAI API未来两个阶段的规划：

2023年的目标包括推出成本更低、运行更快的GPT-4，以及扩展上下文窗口至100万个token。此外，将来版本的状态API将记住会话历史记录，而插件则不会很快成为API的一部分，因为它们还没有证明市场潜力（PMF）。

2024年计划包括多模态功能，这将作为GPT-4版本的一部分进行演示，但由于GPU供应不足而无法立即对所有人开放。此外，虽然开发者对于通过API访问ChatGPT插件感兴趣，但Sam表示这些插件可能不会很快发布，因为它们还没有显示出市场潜力。他强调ChatGPT将允许平台公司通过成为自己的客户来改善其应用程序，而不是直接竞争其他产品。

尽管监管对于未来的模型来说是一个必要的话题，但Sam认为现有模型并无危险，他反复强调开源之重要，并表示OpenAI正在考虑开源GPT-3。他指出，即使现在只有少数公司和个人能够妥善管理如此庞大的语言模型，也存在安全风险。

最后，Sam澄清了关于扩展定律的问题，一些文章声称“巨型人工智能模型时代已经结束”，但他坚持认为这并不准确。他指出内部数据显示扩展定律仍然有效，即增大模型规模将继续提高性能。但是，由于已有几百万倍增长，加速增长变得不可持续。不过，这并不意味着停止努力提升性能，只是在每次增加时保持一定比例增长。如果扩展模式适用于AGI（通用人工智能）的发展，那么我们距离实现AGI就要近得多。