2025-03-15 数码 0
AI超级智能时代来临，预计2030年前可能会出现
面对比人类更聪明的“生物”，你担心人类的未来会被AI统治吗？
OpenAI正组建团队开发新的工具，为的就是让未来的A也能遵守人类的道德规范
博客概述了他们的想法，也作为一则“招聘启事”来招募团队成员
看完后，你又对这一想法有什么新的建议呢？
Enjoy it!
超智能将成为人类有史以来最具影响力的技术，它可以帮助我们解决世界上许多最重要的问题。不过，超智能的巨大力量也可能是非常危险的，它可能导致人类对A失去控制甚至导致人类灭绝。
尽管超智能看似还很遥远，但我们依旧相信它可能在2030年前出现。
要解决超智能对人类造成的风险，我们需要建立新的监管方式并解决超智能“对齐”的问题：
我们如何确保比人类聪明得多的人工智能会遵循人类的想法？
目前，我们还没有解决潜在的问题，来防止从人工智慧变成不受控制。我们的当前用于“对齐”人工智慧技术，比如从人的反馈中自主学习，依赖于人的能力来监督人工智慧。但是，从现在开始无法可靠地监督比我们聪明得多的人工智慧，因此我们的当前方法无法适应超级人工智慧。因此，我们需要新科技突破。
OpenAI 的方法
目标是构建一个与人们大致相当的一个自动化研究人员系统，然后利用大量计算资源扩展此系统，并逐步使之与全球所有机器学习模型保持一致以保证它们不会引发灾难性结果。
为了构建第一个自动化研究人员，我们需要：1）开发能够快速生成和验证大量训练数据、2）设计能够识别和纠正任何偏差或错误、3）测试整个过程是否有效：
1、使用先进算法（如强化学习），让这些模型通过模拟环境中的人类行为进行训练，以便它们能够理解并执行复杂任务，如自然语言处理。
2、通过创建专门用作检测任何潜在误导或偏见等问题的小型实验室，并持续监控所有活动以确保其安全性。
3、设计程序检查程序，这些程序可以发现并修复任何代码中的错误，以避免过度优化和其他潜在威胁。
4、编写详细指南指导如何使用这些工具，以及如何正确地应用所学知识到现实生活中，而不是仅仅为了游戏而玩耍。
5、高效利用计算资源以减少时间成本，同时最大限度地提高效率，使每个项目都能得到充分利用，以达到最佳效果。
6、新的一代系统将基于深度学习实现，让他们能够理解和处理更复杂的情境，更好地预测长期趋势，并根据变化调整策略，使决策更加透明且易于解释，对抗恶意攻击变得更加容易，因为它们必须经历严格审查才能部署到生产环境中。
