2025-03-15 数码 0
关注趋势的爱范儿
OpenAI预言，超智能AI可能在2030年前到来，要组建「人类护卫队」
面对比人类更聪明的「生物」，你担心人类的未来会被AI统治吗？
OpenAI正在组建团队开发新的工具，为的就是让未来的A也能遵守人类的道德规范
OpenAI用一篇博客概述了他们的想法，也作为一则「招聘启事」来招募团队成员
看完后，你又对这一想法有什么新的建议呢？
Enjoy it!
超智能将成为人类有史以来最具影响力的技术，它可以帮助我们解决世界上许多最重要的问题。不过，超智能的巨大力量也可能是非常危险的，它可能导致人类对A失去控制甚至导致人类灭绝。
尽管超智能看似还很遥远，但我们依旧相信它可能在2030年前出现。
要解决超智能对人类造成的风险，我们需要建立新的监管方式并解决超智能「对齐」的问题：
我们如何确保比人类聪明得多的人工智能会遵循人类的想法？
目前，我们还没有解决潜在的问题，以及来防止A变成不受控制。我们目前用于「对齐」的技术，比如从人的反馈中自主学习，依赖于人的能力来监督人工智能。但是，人们无法可靠地监督比他们聪明得多的人工智能，因此我们的当前“对齐”技术不能适应过度发展的人工智慧。我们需要新的科技突破。
OpenAI 的方法
我们的目标是构建一个与人相等的大型自动化研究人员。然后，我们可以利用大量计算资源扩展我们的所做的事情，并逐步调整和提高过度发展的人类智慧。
为了调整第一个自动化研究人员，我们需要：1）开发可扩展训练方法，2）验证结果模型，3）进行压力测试：
1、为了提供训练信号，在难以评估的问题上使用人工辅助评价其他人（可扩展监督）。此外，还希望了解和控制大型模型如何把我们的监督应用于无法监督的情况（泛化）。
2、为了验证系统是否“合规”，搜索故意行为（鲁棒性）以及深层原因（自动解释性）。
3、最后，可以通过故意不合规模型进行检测，以测试整个流程操作安全性。
随着问题理解越来越多，这项研究重点将发生重大变化，同时计划分享更多相关消息。
一支新团队
正在组建由机器学习专家和工程师组成的一支团队，以应对这个挑战。
四年内，将20%计算资源投入到解决超级整体同步问题中。主要基础研究押注于新团队上，但正确处理这一点对于实现使命至关重要，从而期望更多参与者贡献，从新方法再到规模扩张，再部署工作任务。
四年内，对核心同步关键技术挑战取得进展
这是一个令人难以置信且雄心勃勃目标，但仍然乐观认为，如果集中精力共同努力，就能成功，有许多初步实验已显示出可能性，并取得了一些有用的进展，现在就能实证探索这些问题之所以有效。
Ilya Sutskever(Open AI联合创始人及首席科学家)已经将其设定为核心研究焦点，与Jan Leike(负责"同步"技术)合作领导该项目。此外，不仅包括以前"同步"项目中的研发人员和工程师，而且公司其他部门也有参与者加入这次计划寻找优秀人才加入计划。这是一个机器学习问题，所以即便没有直接涉及"同步"领域但具有专业技能的人士都能成为关键人物。这项工作打算广泛分享成果，而不是只限于 Open AI 模型外还有很多安全性等方面作出贡献视为工作的一个重要部分。在此背景下，该新团体面临着提升像 ChatGPT 这样大型模型安全性的同时发现并降低 AIs 其他风险，如滥用经济损害虚假信息偏见歧视成瘾过度依赖等社会科学领域同样涉及到了部分学科交叉接触跨学科专家的积极交流，以确保这种高科技方案考虑更广泛的人类社会界限需求优先考虑全局利益保护所有利益相关者的权益。而且开放共享思想不断迭代改善过程中加强沟通与协作效率保障公平竞争环境促进全球合作减少冲突消除不必要障碍促进国际社会稳定繁荣发展这样一种全球范围内的一致价值观念，无疑也是推动世界各国政府机构政策制定者的责任担当之一给予高度重视并采取实际措施以达到长远目标全面提升每个国家人民生活水平健康幸福福祉，使地球上的每一个人都能够感受到属于自己的美好生活质量时刻获得满足感快乐感，让每个人都感到自己活得值得尊敬自由平等无畏勇敢无私奉献忠诚真诚友好向往美好的未来梦想抱持高尚情操精神追求卓越品质一直走向光明正义坚守永恒真理从而一起建设更加文明安宁谦逊谨慎宽容包容互补互助共赢共同繁荣富强昌盛健康快乐充满希望！
