2025-02-24 数码 0
在OpenAI面临的最大问题中，GPU（图形处理单元）短缺占据了突出的位置。自ChatGPT问世以来，大模型和人工智能技术已经引起全球广泛关注。一方面，我们惊叹于大模型的能力；另一方面，对人工智能可控性及未来发展产生担忧。今年已有包括图灵奖得主Geoffrey Hinton、Yoshua Bengio等AI领域专家多次警告称，AI大模型可能引发一系列风险，甚至有人呼吁叫停GPT-4后续AI大模型的研发。
OpenAI作为ChatGPT、GPT-4等大模型背后的公司，无疑被推上了风口浪尖。其CEO Sam Altman近期正在全球巡回演讲，以消除人们对人工智能“恐惧”，并听取OpenAI产品开发人员和用户意见。
据《Fortune》报道，Sam Altman与一些开发人员和初创公司创始人闭门会面，并分享了OpenAI的路线图和面临的挑战。这场闭门会的一位参与者——Humanloop联合创始人兼CEO Raza Habib最近在一篇博客中提及了OpenAI产品规划和发展瓶颈。
原博客现已删除，但网友上传了博客快照（副本），我们来看一下博客内容：
OpenAI目前面临非常严峻的GPU限制，这也延迟了一些短期计划实施。
客户抱怨最多的是关于API可靠性和速度问题。
Sam承认这个问题，并解释说客户抱怨的大部分问题是由于GPU短缺造成。
更长的32k上下文窗口还不能向更多人推出。
OpenAI尚未克服注意力机制O(n^2)扩展问题，但似乎很快就能实现100k-1M token上下文窗口（在今年内）文本处理。
微调API也受到GPU供应限制。
Open AI提供专用容量服务，为客户提供一个私有的模型副本，但使用此服务需预先承诺支出10万美元。
2023年的路线：首要任务是推出更便宜、更快的GPT-4，以及降低智能成本。更长上下文窗口 —— 将来，上下文窗口可能高达100万个token。微调API将扩展到最新模型，但形式由开发决定。此外，将记住会话历史记录。
2024年的路线：多模态 —— 这作为GPT-4版本的一部分进行演示，但在更多GPU上线之前不能扩展给所有人。此外，将避免与类似ChatGPT竞争，同时不会发布与其客户竞争新产品。
监管是必要但开源也是必要的事项。在考虑监管之余，Sam强调了开源重要性，并表示Open AI正在考虑开源GPT-3。不过，由于他们觉得没多少个人或公司有能力妥善管理如此大的语言模式，他们迟迟未能采取行动。
最后，不同的声音指出“巨型人工智能时代结束”这一观点并不准确。内部数据显示，扩展定律仍然成立，而且增大规模将继续提高性能。不过，由于持续增加规模不可持续，因此可能每年增加一倍或三倍，而不是呈几个数量级增长。但这并不意味着停止努力使模型变得更大，只是需要新的方法来实现这一目标。如果扩展定律仍然适用的事实暗示着我们会用更短时间实现AGI，那么对于如何利用这些发现以达到AGI目标，有许多工作需要完成。而且，这些工作虽然艰难，但是它们至关重要，因为它们为超越当前技术水平所必需的人工智慧奠定基础。
