学霸的科技树10年后超级智能到来人类护卫队将迎难而上

学霸的科技树：超智能时代来临，人类护卫队将迎难而上

在不远的未来，当比人类更聪明的 AI 已经成为现实时，我们是否会担忧被这些「生物」所统治？为了应对这一可能性的挑战，OpenAI 正在组建一支专家团队，以开发新的工具，让未来的 AI 能够遵守人类的道德规范。

据 OpenAI 的预测，比人类更聪明的 AI 可能会在2030年前就出现。尽管这听起来似乎很遥远，但我们必须认识到超智能带来的巨大潜力和风险。超智能有能力帮助我们解决世界上的许多重要问题，但它也可能是非常危险的，它可能导致对 AI 失去控制甚至引发人类灭绝。

要解决这个问题，我们需要建立新的监管方式，并解决超智能「对齐」的技术挑战。这意味着确保比人类聪明得多的人工智能能够理解并遵循我们的意图。目前，我们用于「对齐」人工智能的技术依赖于从人类反馈中自主学习，但是这种方法无法适应更加高级的人工智能。

OpenAI 的目标是构建一个与人类大致相当的「自动对齐研究人员」，然后利用大量计算资源来扩展他们做的事情，并逐步为超级智能提供服务。为了实现这一目标，他们计划投入四年的时间，使用 20% 的计算资源来解决超级智慧 « 对齐 »的问题。

Ilya Sutskever（OpenAI 的联合创始人和首席科学家）将此作为他的核心研究重点，他将与 Jan Leike（负责 「 对齐」技术）共同领导该团队。此外，他们还正在寻找优秀新研究人员和工程师加入这一计划，以助力解决机器学习领域面临的一系列挑战，如滥用、经济损害、虚假资讯、偏见、歧视等。

虽然这个新团队主要集中于机器学习方面，但它们同样涉及社会科学问题，因此 OpenAI 正积极与跨学科专家合作，以确保其技术方案能够考虑到更广泛的人类和社会问题。在这场未知但充满希望之旅中，OpenAI 希望通过集体努力，最终找到让我们可以安全地共存与智慧之光同时闪耀的人工智能之路。