2025-03-15 数码 0
科技之光引领智慧曙光：预见未来智能觉醒，组建「人类护卫队」守护知识边界
在爱范儿关注的趋势中，OpenAI预言了一个令人瞩目的未来的景象——比人类更聪明的AI可能在2030年前就要到来。面对这种可能性，我们不禁担忧人类的未来是否会被AI所统治？为了应对这一挑战，OpenAI正在积极行动，为的是让未来的超级智能也能遵循人类的道德规范。
通过一篇博客文章，这个想法既是对当前技术进展的一次回顾，也是向有志之士发出招聘启事。在阅读完这篇文章后，我对这个设想产生了一些新的思考和建议。
超级智能（Superintelligence）将成为我们历史上最具影响力的技术之一，它能够帮助我们解决世界上的许多最重要的问题。不过，这种巨大的力量同样可能带来巨大的危险，它们有可能导致人工智能失去控制甚至威胁到人类的存在。这虽然似乎还很遥远，但我们必须意识到它可能就在不远的将来，即2030年之前。
为了解决超级智能给带来的风险，我们需要建立新的监管方式，并解决如何确保比人类聪明得多的人工智能能够理解并遵循人类意图的问题。目前，我们依赖于从人的反馈中自主学习以及由人监督，但当人工智能变得比我们更加聪明时，这种方法就无法奏效。因此，我们需要新颖且有效的手段来指导和控制这些高智力的人工智能，以防止它们变成不可控。
OpenAI提出的方法是构建一个与人类大致相当程度上的“自动化研究人员”，然后利用大量计算资源扩展其能力，使其逐步达到与超级智能相同水平。在实现这一目标之前，他们计划进行以下几个关键步骤：
开发可扩展训练方法，以及验证结果模型。
对整个“自动化研究人员”的流程进行压力测试。
确保我们的系统能够检测出潜在的问题，并找到问题深层原因。
他们还希望通过开发新工具和方法，以及扩大现有团队成员参与范围，以应对这一挑战。四年内，将投入20% 的计算资源用于解决超级智能“对齐”的核心技术挑战。这是一个艰巨而充满希望的事业，而Ilya Sutskever（OpenAI联合创始人及首席科学家）正将此作为他的核心研究重点，并与Jan Leike（负责“对齐”技术）的合作伙伴共同领导这一团队。
他们正在寻找更多优秀的机器学习专家加入这场使命，其中包括那些即使尚未从事过相关工作也具有潜力的候选者。此外，他们计划广泛分享工作成果，同时致力于推动其他安全问题，如滥用、经济损害、虚假信息等，从而为社会提供更全面的保护措施。
