2025-01-28 数码 0
科技小报手抄报内容：OpenAI 创始人Sam Altman与Humanloop CEO Raza Habib及20位开发者密集交流，探讨了OpenAI的近况与未来的蓝图。HumanLoop是一家帮助开发者在大语言模型上构建应用的公司。参与此次闭门会议的开发者表示，Altman展现出开放态度，讨论范围从实际问题延伸至商业竞争、AI监管和开源等话题。
Raza Habib记录并分享了这次对话的重点内容，但随后受到了OpenAI要求删除，这一举动引发外界好奇和质疑。网友认为这是炒作，有些则猜测是因为不希望公开谈论一些关键规划。
尽管GPU资源严重不足，导致短期计划推迟，大客户抱怨API可靠性和速度表现，但Altman解释主要问题来自GPU供应不足。他承认当前还无法克服O(n^2)注意力扩展问题，因此预计今年内实现10万到百万级token上下文窗口仍需突破性研究支持。
微调API同样受到GPU限制，因为尚未采用Adapters或LoRa等高效方法。未来微调支持效果更佳，甚至可能为社区贡献专属市场。此外，由于对私有容量服务需求旺盛，每个客户需要支付10万美元购买模型副本。
随着大语言模型爆发各AI企业对GPU需求激增，其价格飙升至数万元每块。在这种背景下，Sam Altman强调了对于GPU可用性的重要性，并分享了2023年作为OpenAI发展关键的一年计划，其中包括价格更低、速度更快的GPT-4，以及扩展API功能如长上下文窗口、微调API以及有状态API。
2024年将是多模态性的全天候运营年份，而插件“尚未完成市场匹配”，可能不会立即面世。此外，对于担忧OpenAI发布竞争产品而紧张使用其API的情绪，他表明ChatGPT不会发布除此之外其他产品，以确保平台巨头转化为客户改进其服务。
虽然呼吁对未来模型加以监管，但他认为当前没有风险，并重申对于开源重要意义的信念，同时考虑开源GPT-3模型。但目前原因是担心绝大多数个人和企业不能托管运行如此庞大的语言模型。这使得扩展定律仍然有效，对通用人工智能发展时间表具有重大影响。
