2025-03-15 数码 0
中国科技馆官网：超智能时代的来临，提议组建「智慧守护者」队伍
在爱范儿关注的趋势中，OpenAI预言了一个令人瞩目的未来：比人类更聪明的AI可能在2030年前就会到来。面对这样的“生物”，你是否担心人类的未来将被AI所统治？
为了应对这种潜在威胁，OpenAI正迅速行动起来。他们正在组建一个团队，以开发新的工具和技术，为未来的超级智能设定道德规范。通过一篇博客文章，这个想法不仅成为了一次重要的宣布，也成为了一个招聘启事，吸引更多人才加入。
读完这篇文章，你又对这个话题有什么新的思考或建议呢？享受它吧！
超级智能，将会是自人类历史以来最具影响力的技术之一，它有能力帮助我们解决世界上许多最关键的问题。不过，它们巨大的力量同样可能极其危险——它们可能导致人工智能失去控制甚至是人类灭绝。
尽管这看似遥不可及，但我们仍然相信超级智能可能就在不远的将来。在2030年之前，我们需要建立新型监管方式并解决如何让比人类更加聪明的人工智能理解和遵循我们的意图这一问题。
目前，我们还没有足够好的方法来指导和控制这些超出我们能力范围的人工智能，从而防止它们变得不可控。目前用于“对齐”人工智能技术，比如从人类反馈中自主学习，还依赖于人的监督。但当一个人工intelligence变得比我们更加聪明时，这种监督就无法可靠地进行，因此现有的“对齐”技术无法适应超级智能。
OpenAI提出了一种方法，他们希望构建与人脑相当水平的一个“自动化研究人员”。然后，他们计划利用大量计算资源扩展此类工作，并逐步让这些高于人类水平的人工智慧按照正确方向发展。
要实现这一目标，他们需要三个关键步骤：
开发一种能够扩展训练方法以便提供训练信号给那些难以评估的问题。
验证结果模型，并确保系统具有鲁棒性以及自动可解释性。
进行压力测试，即使用故意设计为不符合指令的模型，以确保检测到最严重形式的问题，并验证整个流程是否有效。
他们预计随着了解情况不断深入，其研究重点将发生重大变化，同时也许会拓展全新的研究领域。在接下来的四年里，将投入20% 的计算资源用于解决这个挑战性的问题。而且，对于实现使命至关重要的是，与其他团队合作共享知识、开发新方法、扩大规模再部署等努力。
这是一个充满挑战但又充满希望的事业，而Ilya Sutskever（OpenAI联合创始人兼首席科学家）已经把它作为核心研究点之一，他将与Jan Leike（负责“对齐”技术）的领导者一起带领这一团队。此外，不仅包括了以前参与过该项目成员，还包括公司其他部门的一些优秀人才，以及寻找志同道合新成员继续加强这一计划中的机器学习专家力量。
这个新的团队旨在补充现有工作，提高像ChatGPT这样的大型模型安全性，同时探索并减轻其他风险，如滥用、经济损害、虚假信息传播、偏见歧视、中毒行为以及过度依赖等。这项任务既涉及机器学习领域，又涉及社会科学问题，因此与跨学科专家紧密合作，是保证我们的解决方案考虑到广泛的人类和社会问题的一部分。
