2025-02-24 数码 0
机器之心报道：OpenAI面临GPU短缺恐慌GPT-3或将开源
在深夜的科技实验室中，机器之心编辑部悄然揭开了一个神秘的故事。据称，OpenAI正处于一场未知的危机中——他们面临着前所未有的GPU短缺困境，这不仅影响了他们现有的大型语言模型，还威胁到即将推出的新技术。
ChatGPT问世以来，它以其惊人的智能和创造力震撼了世界，但同时也引发了一系列关于人工智能可控性、伦理问题以及未来发展方向的广泛讨论。包括图灵奖得主Geoffrey Hinton和Yoshua Bengio等顶尖AI专家，都曾警告说大型语言模型可能带来不可预测的风险，甚至有人呼吁暂停所有后续大型模型的研发。
就在这时，OpenAI CEO Sam Altman正在全球范围内进行演讲，他试图消除人们对人工智能的一种恐惧，并倾听来自开发人员和用户的声音。在最近一次闭门会议上，Sam与一些开发者和初创公司创始人交谈，他们分享了OpenAI产品规划和面临挑战的情况。
根据《Fortune》的独家报道，当地时间5月份，Sam Altman私下会见了一些关键人物并详细阐述了OpenAI未来的计划及目前遇到的难题。参与此次闭门会议的人士之一是Humanloop联合创始人兼CEO Raza Habib，在他的博客中公开提到了这些信息。不过，由于博客内容已被删除，我们只能通过网友上传的一份快照了解这段历史事件。
文章中的关键信息表明：
OpenAI当前面临最大的挑战是GPU供应不足。这导致客户抱怨API可靠性及速度问题，而Sam承认这些问题主要由GPU短缺造成。
长期文本处理能力仍在研究当中，大模型还无法完全克服注意力机制扩展的问题。
微调API受限于高密集计算资源，其使用成本较高。
专用容量服务因同样的理由而受到限制，每个客户需要预先承诺10万美元才能获得该服务。
对于近期路线图来说：
2023年的目标包括：
推出更便宜、更快速版本的GPT-4，以降低“智慧”的成本。
提升上下文窗口至100k token级别。
扩展微调API功能，让最新模型适配更多应用需求。
状态API改进，以记住会话历史记录，无需重复支付token。
2024年的愿景则包含：
多模态功能作为GPT-4的一个部分进行展示，但由于GPU限制暂时不能为所有用户提供支持。
插件虽然吸引众多开发者兴趣，但由于PMF（早期市场定位）尚未形成，将不会迅速进入API范畴内使用。
尽管监管议题日益紧迫，但Sam强调对现有模型监管过度或禁止是不恰当且错误的。他重申开源技术对于促进透明度与安全性的重要性，并暗示考虑将GPT-3开放给公众使用。然而，这项决定受阻于担忧过多公司或个人无法妥善管理如此巨大的语言模型资源。
最后，对扩展定律是否已经结束存在争议。虽然一些声音宣称“巨型人工智能时代已终结”，但内部数据显示随着规模增加性能也在不断提升。这意味着，即使增长不再呈几何级数增长，也有望继续实现AGI（通用人工智能）的发展目标。如果扩展定律仍然有效，那么我们可能只需更短时间就能实现AGI。此外，对AGI如何定义及其相关概念的问题依旧悬而未决，有待进一步探讨。
