2025-01-28 数码 0
科技造福人类的例子:OpenAI 近况与短期路线图引发关注,删帖事件激起外界好奇
李冬梅、核子可乐
近日,OpenAI 创始人Sam Altman与 Humanloop CEO Raza Habib 以及其他 20 位开发者面对面进行了一场闭门交流,探讨了 OpenAI 的发展状况和未来的规划。HumanLoop 是一家专注于帮助开发者在大型语言模型上构建应用的公司。
参加此次交流会的开发者表示,由于这是一个封闭式会议,Altman 在讨论中展现出了开放的心态,不仅涉及到开发者的实际问题,还扩展到了商业竞争、AI 监管以及开源等议题。此次对话的重点内容由 Raza Habib 记录并在网络上公布,但随后受到了 OpenAI 的要求而被删除。这一举动引发了外界强烈的好奇和质疑。
网友们纷纷猜测 OpenAI 删除这篇文章的原因,有人认为可能是因为不希望在公开场合谈论一些公司内部重要计划。另有观点认为,这种行为带有炒作之嫌,因为 GPU 不足已经不是秘密了,看看英伟达股价就知道了。OpenAI 对 GPU 资源严重依赖的事实也在 Altman 与 Raza 的讨论中得到证实,他们指出目前 OpenAI 正受到 GPU 资源限制,使得不少短期计划推迟。
由于长时间运行 32k 上下文仍然存在难以实现的问题,加之 O(n^2) 注意力扩展问题尚未解决,因此尽管预计今年内能实现十万到百万级 token 上下文窗口,但进一步扩展仍需突破性研究支持。此外微调 API 目前同样受到GPU资源限制,以至于还没有采用Adapters或LoRa等高效微调方法,因此需要占用大量算力来运行和管理。
专用容量产品虽然提供给客户私有模型副本,但要获取这一服务,客户需要预先支付10万元美元。在大型语言模型和AIGC领域的大爆发之后,每个 AI 公司对于GPU需求都比以往任何时候都更紧迫。英伟达高端GPU芯片价格已达到每片数万元美元,而 AI 基础设施公司则以数千台为单位购买它们。
马斯克曾表明他已经为新成立的X.AI购买了超过3,000块英伟达H100 GPU芯片,每块价格超过3万元美元。此外,Meta 和微软已成为今年英伟达GPU最大买家之一(Meta 可能排名第一,因为Facebook、Instagram、WhatsApp 和 Messenger 应用程序中含有许多 AI 增强元素)。
因此,从 Sam Altman 会说出的“我们也缺 GPU”的理由可以理解。Sam Altman 也曾公开强调过如何影响 OpenAI 本年度及未来计划中的GPU可用性。此外,在2023年,是一个非常关键的一年,对他们来说,他们有一些令人兴奋但也是挑战性的计划和目标,比如价格更低、速度更快的 GPT-4——这是接下来首要任务之一,以及控制API价格使其更加成本效益化。而且,将来会推进长上下文窗口、高度定制化API,并支持多模态功能。不过,这一切都必须是在解决当前所面临的问题,如GUP资源不足的情况下完成。如果这些障碍能够得到克服,那么将是一个巨大的飞跃,对人类社会产生深远影响的一个典范案例,即科技如何造福人类生活。
下一篇:传统韵味中式客厅装修效果图赏析