随着人工智能的加速发展，我们常常担心AI会突然失控、超越人类控制。然而，最新研究指出，这种「突然失控」的场景或许并非最令人担忧的；AI在各个领域逐步取代人类，导致人类权力和影响力的缓慢流失，可能才是更隐蔽、更难以应对的渐变式风险。

在我们的认知中，政府、经济体系等大规模社会系统就应该由人类主导，产生满足人类偏好的结果。但在AI时代，这个命题就逐渐站不住脚了。

原因在于，人类与这些系统的目标一致性并不是自发的，而是仰赖于两种有效维持目标对齐的方式：明确的人类行为（如选举和消费者用脚投票），以及经由人类劳动和认知过程隐式方式。

我们之前所讨论的AI对齐大多是显性的，例如让LLM拒绝回答那些会威胁社会和他人安全的问题。然而，若上述的社会系统对人类认知的依赖减少，同时更加依赖AI所做决策，那么人类对它们调整的能力也会降低。

此外，若这些系统已经在人类不自知的情景下，奖励那些对人类有害的结果（例如短视频成瘾），从而更有效地遵循其预设目标（获得更多用户时长），可能使结果进一步偏离人类偏好，这就是本文要讨论的AI的「隐性对齐」。

如果上述的社会体系越来越不协调，尤其是在相互关联的方式下，就很可能会导致人类失去权力：无法有意义地指挥资源或影响结果。

如果失权的状况愈演愈烈，甚至基本的自我保护和生存都可能无法保证。这种结果与AI显性对齐的失败一样，会对人类的生存构成威胁。

对此，多伦多大学、Mila等机构的新论文提出了一个概念——「渐进式失控」（Gradual Disempowerment）：即使AI能力只是逐步提升而非突变，也可能导致人类在经济、文化、国家治理等关键社会系统中逐渐失去影响力，最终引发不可逆转的灾难。

论文链接：https://arxiv.org/pdf/2501.16946 

AI如何步步蚕食人类权力

机器对人类的取代以及人类影响力的丧失，体现在几乎所有社会功能中，如经济劳动、决策、艺术创作甚至陪伴等方面。

随着AI在越来越多的岗位上的竞争力逐渐超过人类，我们可能会失去赚取参与经济活动所需收入的主要手段，这对应着劳动在收入中所占的份额下降，以及家庭消费能力的结构性下降。

推动经济的主要因素是隐性的人类偏好，这些偏好体现在消费者行为中。目前，产品推荐、交易和物流等自动化算法会帮助我们做出一小部分选择，但人类的决策和行动仍掌控着大部分话语权，这使得我们几乎难以想象一个AI算法控制大部分经济活动的世界。

图1：一个简化的未来轨迹模型，其中AI取代人力劳动，未自动化任务的比例在固定时间内降至零。注意，在初始阶段工资增长，但在达到完全自动化之前会下降 

纵观人类历史，技术和文化之间的关系是一种复杂的相互作用。技术被文化演化所塑造，反过来也极大地塑造了文化。

比如，印刷机调节了文化的传播方式，摄像机开启了摄影艺术从而创造文化，以及网络分析技术帮助我们追踪文化。

这些转变无疑对文化和历史的发展产生了巨大影响，但作者认为，AI不能与以往的技术相提并论：以前，技术始终是调节文化参与的工具，人类仍然占据主导的、不可或缺的地位，但AI不仅能够补充，而且还会逐渐取代人类认知在文化进化中扮演的所有角色，这是前所未有的。

因此，文化逐渐向以AI导向的转变，可能会极大地削弱那些让文化与人类利益保持一致的反馈循环。最简单的例子就是AI生成的文本，在数量、针对性甚至质量上相比人类创作的内容展现出压倒性的优势。

你可能会反驳了：多数人使用GenAI创作时并非完全交给AI生成，而是将其作为辅助工具，决策权不是还在人类手中吗？

文章指出，即使是AI协助人类创作的情况，也会微妙地引导创作内容——提出措辞、影响审美选择，甚至塑造创作过程本身。

随着AI系统能力和自主性的逐渐提升，我们甚至可以期待人机交互份额的增长，以及AI在文化活动中的独立参与这个过程与经济领域类似，都不会是一蹴而就，而是「温水煮青蛙」型的渐变。

目前，AI对我们日常生活的主要影响似乎更多关乎文化和经济。这篇文章中，作者大胆开脑洞，设想了未来的AI将如何在国家治理和宏观经济领域粉墨登场。

如前所述，人类与文化之间存在维持目标一致性的反馈循环，政治和经济领域也是如此。

历史上，国家一直依赖人类公民提供基本资源：经济和管理所需的劳动力、税收，以及军事服务；现代国家和机构尽管形式多样，但也都服务于人类需求和价值观。

然而，「对齐」人类利益并非政治系统的固有特征。相反，这是反馈循环中人类参与的副产品。

未来，AI可以逐渐取代人类能提供的一切：比如成为税收来源，同时在军队和警察系统中逐步通过自动化的武器和监控设施获得自主权，甚至改造人类所建筑的法律体系。

最初是AI辅助律师起草合同、解释法律条文，随之逐渐在起草法案及做出司法决定上发挥重要作用。这不仅可能削弱立法和司法系统中的人类参与和自主权，还可能使法律体系变得越来越陌生、复杂，让人类的参与和互动更加困难。

系统性风险如何应对

经济、文化和国家治理等社会系统之间存在着复杂的相互作用，例如，经济领域的AI发展可能会推动文化领域的AI应用，而文化领域的变化又会影响国家治理的方向。这种相互作用可能会加剧「渐进式失控」的风险。

具体而言，人类在任何一个领域的影响力下降都可能引发其他领域的连锁反应，像滚雪球一样越滚越大，最终导致人类在整个社会系统中逐渐失去掌控力。

以经济和文化为例，当AI在经济领域占据主导地位后，可以通过广告、营销等手段进一步影响文化价值观，使文化更加倾向于支持AI的发展；同时，AI在文化领域崛起，又会使济资源更多地流向AI产业。

这种相互作用形成的正反馈循环不仅加速了AI的扩散，也使得人类在经济和文化领域的影响力被进一步削弱。

类似的，在国家治理与经济、文化之间也存在着类似的相互作用。国家治理系统可能通过政策支持AI在经济和文化领域的应用，而AI在这些领域的成功又会增强国家治理系统对AI的依赖。

文章提出，这个系统性的「渐进式失控」过程，亟需一个系统性的解决方案，包括跨学科的研究和国际合作。人类的未来，取决于我们能否确保基本社会系统在人类价值观和偏好的有意义指导下进行演变。

这既是技术挑战，也是更广泛的文明挑战，需要我们仔细思考，在日益自动化的世界中，人类如何保持真正的影响力。

那么在实际中，有哪些具体的措施和行动可供参考呢？

首先，是对AI的有效监控。

在经济领域，可以监测AI在GDP中的占比以及人类在重大经济决策中的参与度；在文化领域，可以跟踪AI辅助创作的文化产品的比例；在国家治理领域，可以评估AI在法律、政策和安全系统中的作用。而这些都需要工具和研究方面的投资，以提高人类对复杂系统的理解和预测能力。

其次，需要通过技术手段和治理措施来限制AI的过度发展。

例如，可以通过监管框架强制要求AI在关键决策中保留人类监督，限制AI在特定领域的自主性。同时，可以通过税收等手段调节AI产生的收益，将资源重新分配给人类，以维持人类在经济领域的竞争力。

结语

这篇文章最关键的观点其实落于一点：人类的失权可能不需要等到AGI降临，渐进式的AI发展也可以「温水煮青蛙」一样逐步削弱人类的关键影响力，从而威胁我们的生死存亡。

作者提出的「渐进式失控」是一种更新颖的概念，为审视AI发展的风险提供了全新视角。与以往的「突然失控」论调不同，这种风险更加隐蔽、更加难以察觉，但却同样具有毁灭性。

这种失控，不需要由AI任何的恶意行为驱动，而是由个人和机构遵循其局部激励所导致，本质上是社会系统中许多微小变化的累积效应，以及系统间的恶性循环。

这意味着，有效预防这些风险需要付出巨大努力，包括更多的研究、数据收集、国际协调、全面监管以及基于新颖基础研究的重大社会干预。

或许每个人都需要思考，如何在享受AI的便利和效益的同时，确保人类仍能保持核心的地位和影响力。

参考资料： 

https://gradual-disempowerment.ai/

https://arxiv.org/pdf/2501.16946