2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高层包括 Sam Altman 及其他 20 位开发者进行的闭门讨论中透露的一些关键信息，显示了 OpenAI 未来发展的重要方向。首先，目前 OpenAI 面临着严重的 GPU 缺口限制，这不仅推迟了他们许多短期计划，而且也是客户对 API 可靠性和速度抱怨的主要原因。Sam Altman 承认这一问题，并解释称大部分问题都源于 GPU 短缺。
此外，由于还没有克服 O（n^2）的注意力扩展问题，即使将来能够提供10万-1M令牌上下文窗口，也无法实现更大的上下文推广。此外，微调 API 也受到 GPU 可用性的限制，没有使用有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖计算密集型资源。未来预计将提供更好的微调支持，并可能主持一个社区贡献模型市场。
OpenAI 还为客户提供专用容量产品，但受限于 GPU 可用性。这意味着要访问这个服务，客户必须愿意预先承诺10万美元的支出。在接下来的一年里，OpenAI 的目标是降低“智能成本”，即通过时间推移持续降低 API 成本。此外，他们计划在不久的将来增加长达100万令牌以上上下文窗口，以及扩展微调功能到最新模型。
对于插件方面，有关通过 API 访问 ChatGPT 插件的问题，上述讨论表明这些插件不会很快被整合到 API 中，因为它们尚未达到所谓产品-market-fit（PMF）。而对于竞争的问题，一些开发人员担心当 OpenAI 发布具有竞争力的产品时，他们会感到紧张，但 Sam 表示 OpenAI 不会发布除了 ChatGPT 之外更多与其服务直接竞争的事物。
最后，对于监管和开源的问题，一些人呼吁对未来模型进行监管，而另一些人认为现有模型并不危险。但无论如何，都存在需要监管但也需要开源的情景。在考虑开源 GPT-3 时，一些担忧是由于怀疑是否有足够的人或公司能托管并维护大型语言处理系统（LLM）。
关于巨型 AI 模型性能增长定律的一个观点是，它们仍然有效，即使在已经显著提高之后。尽管有人声称“巨型 AI 模型时代结束”，但实际情况是，每年规模化继续起作用，这意味着我们可能已经具备构建通用强人工智能所需的大部分技术，只是在数据集和模型大小上的进一步扩展上还有待探索。如果缩放假设成立，那么 AGI 开发时间线可能比想象中更加接近，而不是远离目标。
