2025-02-24 数码 0
机器之心报道：OpenAI面临GPU短缺恐慌GPT-3或将开源，Sam Altman解读未来发展路线图
在人工智能领域，OpenAI作为ChatGPT和GPT-4的背后公司，无疑被推上了风口浪尖。随着大模型和AI技术引起全球关注，一方面人们惊叹于其能力，另一方面对其可控性及未来发展产生担忧。今年已有包括图灵奖得主Geoffrey Hinton、Yoshua Bengio等众多业内人士多次联合警告AI大模型将引发一系列风险。
据《Fortune》报道，5月Sam Altman与一些开发人员和初创公司创始人闭门会面，并讲述了OpenAI的路线图和面临的挑战。这场闭门会的参与者之一——Humanloop的联合创始人兼CEO Raza Habib最近在一篇博客中提及了OpenAI的产品规划和发展瓶颈。
原博客现已删除，但有网友上传了博客快照，我们来看一下博客的具体内容：
目前OpenAI面临非常严峻的GPU限制，这也延迟了他们一些短期计划的实施。近来，客户投诉最多的是关于API可靠性和速度问题。Sam承认这个问题，并解释说客户抱怨的大部分问题是由于GPU短缺造成的。在处理文本方面，更长的32k上下文还不能面向更多人推出。现在OpenAI还没有完全克服注意力机制O(n^2)扩展问题，虽然OpenA似乎很快就能实现100k-1M token上下文窗口（在今年内）文本处理，但更大的文本处理窗口需要进一步研究突破。
不仅如此，由于微调API受到GPU供应限制，加之未使用像Adapters或LoRa这样的高效微调方法，因此微调运行和管理起来计算都非常密集。Sam透漏更好的微调技术将在未来推出，他们甚至可能提供一个社区专门研究模型。此外，对于专用容量提供，也受到GPU供应限制。一旦使用此服务，将需预先承诺支出10万美元。
对于近期路线图，在交谈中，Sam分享了API当前以及未来的两个阶段：
2023年的目标是首先降低智能成本，使API成本降低并且提高性能。此外，将为用户提供更长上下文窗口 —— 不久后，上下文窗口可能达到100万个token。而状态API则可以记住会话历史记录，以提高用户体验。
2024年的目标则是多模态功能，该功能已经作为GPT-4版本的一部分进行演示，但由于缺乏足够数量的心理学GPUs而无法扩展到所有用户。但即便如此，这也是对ChatGPT插件的一个重要步骤，因为这些插件允许开发者通过访问ChatGPT来增强应用程序功能，而不是简单地构建它们自己的小型聊天助手。
尽管监管是一个必要的话题，但是根据Sam Altman所言，他并不认为现有的模型存在危险。他再次强调了开源对于行业进步至关重要，并表示正在考虑让GPT-3开源。不仅因为他相信开源能够促进创新，还因为他相信，如果能够做到安全地管理这样的大型语言模型，那么这将是一种巨大的成就。如果最后决定采取行动，则这将代表着人类科技史上的另一个里程碑转折点，即从控制工具向开放共享知识的一大飞跃。在这个过程中，同时也需要确保公众理解这些新工具带来的潜在风险，以及如何正确利用它们以避免误用或者滥用，从而保障社会整体安全与福祉得到保护。这项工作不仅涉及技术层面的突破，也需要政策制定者的积极参与，以及整个社会成员共同努力，以确保每个人都能从这些前沿科技中受益，同时不会遭受负面影响。这无疑是一项复杂而具有挑战性的任务，但如果成功完成，它们又或许能带给我们全新的生活方式，让我们的人类经验变得更加丰富、更加美好。
