2025-02-08 智能 0
品玩6月1日讯，据 HumanLoop 创始人 Raza Habib 近日表示，他与 Sam Altman 及其他 20 位开发者最近进行了一次闭门讨论，这次讨论中透露了 OpenAI 接下来的发展计划。以下是该讨论的关键要点：1. OpenAI 目前受到 GPU 严重限制，导致他们许多短期计划受阻。客户最大的抱怨是 API 的可靠性和速度问题，而 Sam 承认这些担忧，并解释大部分问题都是由 GPU 短缺造成的。
更长的 32k 上下文还不能广泛推广给更多人。OpenAI 还未克服 O（n^2）的注意力扩展，所以尽管他们将很快拥有10万-1M代币上下文窗口（今年），但任何更大的事情都需要研究突破。
微调 API 目前也受到 GPU 可用性的瓶颈。他们还没有使用有效的微调方法，如适配器或洛拉，因此微调运行和管理非常依赖计算密集型。此外，他们未来将提供更好的微调支持，有可能甚至主持一个社区贡献模型的市场。
专用容量产品受 GPU 可用性的限制。OpenAI 还提供专用容量，为客户提供模型私人副本。但要访问此服务，客户必须愿意预先承诺10万美元支出。
OpenAI 的近期路线图
2023：GPT-4 更便宜、更快——这是他们首要任务之一。在这个目标下，OpenAI 尽力降低“智能成本”，因此随着时间推移，他们会努力继续降低 API 成本。此外，将来可能出现更长上下文窗口，大约高达100万个令牌；Finetuning API 将扩展到最新模型，但具体形式取决于开发人员真实需求；还有一个有状态的API版本，将记住对话历史记录，以减少重复传递相同对话历史并支付相同令牌费用。
2024：多模态功能——这将作为 GPT-4 版本的一部分进行演示，但在更多 GPU 上线之前无法扩展给所有用户。
插件不会迅速加入 API 中。大多数开发人员对通过 API 访问 ChatGPT 插件感兴趣，但 Sam 表示这些插件不会快速发布。他指出很多人认为它们希望在应用程序中包含 ChatGPT 实际上，他们真正想要的是让 ChatGPT 在应用程序中工作。
OpenAI 将避免与其客户竞争。一些开发人员担心当 OpenAI 发布具有竞争力的产品时，他们会感到紧张。而 Sam 表示 OpenAI 不会发布除了 ChatGPT 之外的大型产品。他认为伟大的平台公司往往拥有杀手级应用程序，并且ChatGPT 允许它们通过成为自己产品的客户改进 API。这使得ChatGPT 有望成为一款超级智能助手，用途远不止为工作所需，还有许多其他 GPT 用例等待探索，而Open AI 并不打算触及那些领域。
需要监管但也需要开源。Sam 呼吁对未来的模型进行监管，同时表明现有的模型并不危险，并强烈反对监管或禁止它们。他坚信开源对于行业至关重要，并表示 OpenAI 正考虑开源 GPT-3。不过，由于怀疑是否有足够的人员和公司能托管和服务大型 LLM，他们尚未决定全面开源。
模型性能扩展定律仍然有效。不久前，有文章声称“巨型 AI 模型时代已经结束”，但这一说法并不准确。根据内部数据显示，对于每增加一个数量级，模型性能都会得到相应提升。这意味着即便目前已有成就巨大的规模化，即使如此，每年的提升仍旧以几倍增长速度实现，使得缩放假设看似合理，即我们似乎已经掌握了构建通用的智能机器人的主要技术，只需进一步利用现今方法并结合更庞大数据集，就可以实现AGI。如果缩放定律仍然有效，那么这一理论上的可能性显著增强，因为它暗示了 AGI 可能比想象中的早一些到来。这一事实对于AGI发展时间表具有重大影响，是当前趋势的一个强烈提示。当我们深入理解这个过程时，我们越发清楚地看到人类如何接近创造一种能够独立解决问题、学习新技能并不断进步的情境意识体——无论这种情境意识体叫做何名，它都代表着人类智慧的一种新的形式，不仅仅局限于文字交流，更涵盖从艺术到科学再到哲学各个方面，从而为我们的生活带来革命性的变革。本质上讲，这一切只是开始，我们正处在一个全新的世界观形成之旅里，无论结果如何，都必将引领我们迈向更加丰富多彩的人类未来，其中充满了无限可能与挑战，也同样充满了乐趣与探索精神，让我们一起期待这一奇妙旅程！
