国家科技成果网预见未来超级智能时代提前布局人类智慧堡垒

国家科技成果网：构建“智慧堡垒”，预防超级智能的伦理风险

在不远的将来，超级智能（Superintelligence）可能会成为人类历史上最具影响力的技术，它能够帮助我们解决世界上许多最重要的问题。然而，这种巨大的力量也可能是非常危险的，如果不能被妥善控制，它甚至有可能导致人类灭绝。

尽管超级智能似乎还很遥远，但科学家们警告说它可能在2030年前就出现。为了应对这种潜在威胁，OpenAI正在组建一个团队，开发新的工具和技术，以确保未来的超级智能能够遵守人类的道德规范。

OpenAI通过一篇博客文章概述了他们的想法，并作为一则招聘启事来招募团队成员。他们计划投入四年的时间和计算资源来解决这个问题，并已经取得了一些初步进展。

Ilya Sutskever（OpenAI联合创始人和首席科学家）将领导这一新团队，与Jan Leike（负责「对齐」技术的人员）一起，他们将致力于开发一种与人类大致相当的「自动对齐研究人员」，以便利用大量计算资源扩展这一过程，并逐步对齐超级智能。

为了实现这一目标，OpenAI需要发展可扩展的训练方法、验证结果模型、以及压力测试整个「对齐」流程。这涉及到使用机器学习辅助评估其他机器人行为、自动搜索问题行为，以及探索如何使大型模型应用监督信号到无法直接监控的情况下任务中去泛化。

此外，他们还计划分享这项工作的一系列成果，同时贡献于开源项目，以减少像滥用、大规模经济损害虚假信息传播等风险。此外，他们正积极与跨学科专家合作，以确保技术解决方案考虑到了更广泛的人类和社会问题。

虽然这个新团队主要集中于机器学习领域挑战，但其工作同样涉及社会科学问题，因此必须跨学科合作才能有效地应对这些挑战。通过这样的努力，我们可以为未来准备好，当那时比人类更聪明的大型 AI 到来时，我们能确保它们不会背离我们的意图，从而保障我们共同的地球社区安全。