GPU短缺背后的秘密GPT-3将揭开未来科技画卷的面纱吗

《GPU短缺背后的秘密：GPT-3将揭开未来科技画卷的面纱吗？》

在机器之心报道中，我们得知OpenAI目前正面临着一个巨大的挑战——GPU（图形处理单元）短缺。这一问题不仅影响了ChatGPT问世以来引发全球关注的大模型，还对人工智能技术的可控性和未来发展构成了担忧。包括图灵奖得主Geoffrey Hinton、Yoshua Bengio等AI领域专家在内，多位业内人士曾警告称大模型可能会引发一系列风险，有些甚至呼吁暂停GPT-4后续的大模型研发。

OpenAI作为这些大模型的背后公司，被推上了风口浪尖。其CEOSam Altman近期进行了全球巡回演讲，旨在消除人们对人工智能的“恐惧”，并听取开发人员和用户意见。此外，他还与一些开发人员和初创公司创始人进行闭门会议，分享了OpenAI的路线图以及正在面临的一系列挑战。

据报道，5月份Sam Altman与一些开发人员和初创公司创始人进行了一次闭门会谈，并向他们展示了OpenAI产品规划及发展瓶颈。Humanloop联合创始人兼CEO Raza Habib在博客中提到了这次会议，并透露了有关OpenAI产品规划及发展瓶颈的情况。

根据Raza Habib提供的情报，当前最大的挑战之一是受限于GPU资源，这也延迟了一些计划实施。在处理文本方面，更长的32k上下文窗口尚未能为更多的人推出，而对于更高级别的问题，如100k-1M token上下文窗口，大型语言模型仍然存在扩展注意力机制O(n^2)的问题。不过，由于研究突破，这些限制有望很快得到解决。

此外，由于微调API受到GPU供应限制，微调运行变得计算密集化。虽然没有使用像Adapters或LoRa这样的高效微调方法，但Sam透露更好的微调技术将在未来推出，他们甚至可能提供一个社区专门研究这个问题。

对于近期路线图而言，在2023年里，一项首要任务是在降低成本基础上推出更便宜、更快的GPT-4版本。而对于2024年的目标则是实现多模态功能，即作为GPT-4版本的一部分进行演示，但由于现有GPU资源有限，这项功能无法被广泛应用到所有用户手中。此外，对插件系统开放访问也是讨论中的内容，但Sam表明这些插件系统短期内不会发布，因为它们需要进一步验证以证明市场潜力（PMF）。

尽管监管是一个重要话题，而且开源同样重要，但是Sam坚持认为目前不存在足够理由禁止或监管现有的大型语言模型。他强烈支持开源理念，并表示考虑将GPT-3开源给公众。但这一决定主要基于他认为只有少数几个组织能够妥善管理如此庞大的语言模型。如果成功地实现这一点，将极大地促进人类理解这些复杂技术所需知识的一个新时代，从而加速科学进步并提高整个人类社会水平。

最后，不可忽视的是，无论如何，都必须继续扩展当前已经取得成果的大型语言模式，以确保我们朝着构建更加先进的人工智能（AGI）迈进一步。尽管我们已获得许多关键要素，但通过不断增加规模来克服难题，将使我们接近实现AGI目标。当我们掌握如何有效利用这种能力时，我们就能探索新的可能性，为世界带来前所未有的变革与创新。