2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日与 OpenAI 高级管理人员进行的深入探讨，揭示了该公司即将到来的发展蓝图。核心议题包括：首先，OpenAI 目前面临着严重的 GPU 缺口限制，这不仅推迟了他们的短期计划，也是客户对 API 可靠性和速度抱怨的一个主要原因。Sam Altman 承认这些问题，并指出它们主要源于 GPU 短缺。
此外，尽管 OpenAI 即将实现10万-1M代币上下文窗口，但任何更大规模的应用仍需突破当前 O（n^2）的注意力扩展局限。此外，由于微调 API 受 GPU 可用性的影响，他们尚未采用有效微调方法，如适配器或洛拉，因此目前无法提供高效率微调支持。未来可能会推动社区贡献模型市场。
专有容量产品也受到了 GPU 的限制，而要访问专有容量服务，客户必须预先承诺10万美元支出。这意味着 OpenAI 将在2023年致力于开发一个更便宜、更快的 GPT-4，以及提供长达100k令牌上下文窗口和扩展到最新模型的微调支持。
至于插件，它们可能不会很快成为 API 的一部分，因为许多开发者对通过 ChatGPT 访问插件表示兴趣，但 Sam 表示这并非他们最终目标。他认为许多人希望拥有 ChatGPT 插件实际上只是希望它成为他们应用程序中的一部分。
同时，尽管有些开发者担心 OpenAI 将发布竞争产品，但 Sam 强调该公司不会发布以外ChatGPT之外更多产品。他认为伟大的平台公司往往拥有杀手级应用程序，而 ChatGPT 使得它们能够作为自己产品的客户来改进 API。ChatGPT 的愿景是成为工作中的超级智能助手，同时还有许多其他 GPT 用例待开拓。
关于监管与开源的问题，上述讨论中提及了需要监管但同时也需要开源的情况。虽然 Sam 呼吁对未来模型进行监管，他并不认为现有模型危险，并强烈反对禁止它们。他还重申了他对于开源重要性的信念，并表示 OpenAI 正在考虑开放 GPT-3 源代码，只是因为他怀疑是否有人或机构能托管并服务大型 LLM 模型而未作决定。
最后，在关于“巨型 AI 模型时代结束”的说法中，一些分析表明，该理论并不准确。在内部数据显示，即使模型性能随规模增加而显著提升，每年的增长速度也不可能持续无限地保持同样水平。而且，如果缩放假设正确，那么我们已经接近构建全能的人工智能所需的大部分关键技术。此时继续缩放就足以让我们达到这个目标，从而减少 AGI 开发所需时间长度。如果缩放定律继续成立的事实为真，那么这一点尤其重要，因为它意味着我们可能比想象中更加接近实现 AGI 这个梦想。
