2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 主管 Sam Altman 以及其他 20 位开发者进行的闭门讨论中透露的一些关于 OpenAI 未来开发工作内容。关键要点如下：
首先，OpenAI 目前受到 GPU 严重限制，这在整个讨论过程中成为一个共同主题之一。由于 GPU 的有限性，一些短期计划被推迟，而客户最大的抱怨是 API 可靠性和速度问题。Sam 承认了这些担忧，并解释说大部分问题都是由 GPU 短缺造成的。此外，更长的 32k 上下文还不能广泛推广给更多人，因为 OpenAI 还未克服 O(n^2) 注意力扩展的问题。
其次，微调 API 也受到 GPU 可用性的瓶颈影响，他们还没有使用有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖于计算密集型资源。未来将提供更好的微调支持，并可能主持社区贡献模型市场。而专用容量产品受限于 GPU 可用性，客户必须预先承诺10万美元支出才能访问此服务。
再者，OpenAI 的近期路线图包括以下几个方面：2023 年，将会有更便宜、更快的 GPT-4；2023 年底，更长上下文窗口（高达100万个令牌）将会实现；同年晚期，将推出对话历史记录记忆功能以减少重复传递相同对话历史并付费的情况。此外，对于插件的访问，由于它们尚未形成产品-market fit (PMF)，Sam 表示它们不会很快发布。
此外，不少开发人员表示，当 OpenAI 发布具有竞争力的产品时，他们对于使用 OpenAI API 构建应用感到紧张，但 Sam 强调 ChatGPT 不会发布以外更多产品，以避免与他们的客户竞争。他认为伟大的平台公司拥有杀手级应用程序历史，而且 ChatGPT 将允许它们通过成为自己产品的客户来改进 API。
最后，对于监管和开源的问题，虽然 Sam 呼吁对未来模型进行监管，但他认为现有模型并不危险，并且监管或禁止它们是一个错误。他强调了开源重要性的信念，并表示 OpenAI 正在考虑开源 GPT-3。但是，由于怀疑是否有能力托管和服务大型 LLM，他还没有决定公开所有内容。
值得注意的是，即使一些文章声称“巨型 AI 模型时代已经结束”，但根据内部数据显示模型性能扩展定律仍然有效，使得随着时间推移，大型模型将继续产生性能。这不仅意味着 AGI 开发时间表可能较短，而且缩放假设也指向我们可能已经具备构建 AGI 所需的大部分部分，只需要通过现有的方法并扩展到更大的数据集即可。如果规模化时代已经结束，那么我们应该期待 AGI 时间线远去。而当前缩放定律继续成立的事实则是强烈提示时间线较短。
