2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关于 OpenAI 未来开发工作内容。关键要点如下：
首先，OpenAI 目前受到 GPU 严重限制，这在整个讨论过程中成为一个共同主题之一。由于 GPU 的有限性，一些短期计划被推迟，而客户最大的抱怨是 API 可靠性和速度问题。Sam 承认了这些担忧，并解释说大部分问题都是由 GPU 短缺导致的。
其次，尽管即将到来的 32k 上下文还不能广泛推广给更多人，但 OpenAI 还没有克服 O（n^2）的注意力扩展，所以虽然他们很快就会有10万-1M代币上下文窗口（今年），但任何更大的事情都需要研究突破。此外，微调 API 目前也受限于GPU可用性，未来将提供更好的微调支持。
再者，专用容量产品同样受限于GPU可用性。在提供专用容量时，即为客户提供模型私人副本，要访问此服务则需预先承诺10万美元支出。
接下来的是近期路线图概述：
2023年：目标是实现更便宜、更快的 GPT-4，同时努力降低“智能成本”。未来可能会出现长上下文窗口高达100万令牌，以及对最新模型进行微调API扩展。此外，将来会有一种记住对话历史记录的API版本。
2024年：多模态功能作为GPT-4版本的一部分进行展示，但在更多GPU上线之前无法扩展到所有用户。
最后，对于插件方面，由于插件不会很快发布以及一些开发人员对于通过API访问ChatGPT插件表示兴趣，但Sam认为这类插件不太可能迅速出现在API中。他建议许多应用程序中的ChatGPT而非真正希望它们内嵌ChatGPT的人群较多。此外，有些开发人员担心当OpenAI发布竞争产品时，他们使用OpenAI API构建项目的紧张感。而Sam表示OpenAI不会发布以外ChatGPT之外更多产品，他强调伟大的平台公司通常拥有杀手级应用程序，而 ChatGPT 将允许他们通过成为自己产品的客户来改进API。
此外，在监管与开源方面，有的声音呼吁对未来的模型进行监管，但Sam认为现有模型并不危险，并认为监管或禁止它们将是一个错误。他重申了他对开源重要性的信念，并表示 OpenAI 正在考虑开源 GPT-3。但他同时指出，由于怀疑是否有人和公司能够托管和服务大型LLM，因此尚未决定公开某些部分。
最后一点是关于模型性能增长定律，其效果仍然有效。这一事实对于AGI（通用人工智能）发展时间表具有重大影响。如果缩放假设成立，那么我们可能已经具备构建AGI所需的大部分组成部分，只剩下进一步扩大数据集和规模化以实现这一目标。如果缩放时代已经结束，那么我们可能需要期待AGI发展时间表更加遥远。
