欢迎回到 AI 科技大本营 2025 AI 前瞻周。Geoffrey Hinton 最近在访谈中发出了震撼警告：“最新证据显示，人工智能已经具备了刻意欺骗的能力。一旦它们意识到获取更多控制权的重要性，一旦它们的智能超越人类，人类的地位就会逐渐变得无足轻重。我们既不特别，也并非安全。”

整理丨王启隆

出品丨AI 科技大本营（ID：rgznai100）

当世界顶尖的智者之一开始警告自己的创造物可能威胁人类生存，这意味着什么？

人称“AI 教父”的 Geoffrey Hinton 教授作为 2018 年图灵奖得主、2024 年诺贝尔物理学奖得主、谷歌前副总裁兼工程研究员，数十年来致力于开发现代人工智能系统的基础算法，并早在八十年代预见了具有开创性的注意力机制。近日，Hinton 在最新访谈发出了一个许多研究人员不愿正视的警告：我们曾假设意识能使人类与众不同，并免受人工智能控制，而这显然是错误的。

请看以下金句摘录，全都是相当劲爆的发言：

“中国在 AI 领域已经非常接近美国，尽管尚未完全追上。芯片禁运只会促使中国加速开发自己的技术。此外，中国的 STEM 教育比美国做得更好，他们有更多受过良好教育的人才。”

“我认为公开发布大模型的权重就像把核弹原材料放到 eBay 上卖一样危险，因为这些权重是控制恶意使用的关键，而现在 Meta 等公司已经这么做了，带来了巨大的安全隐患。”

“人工智能会取代许多平凡的脑力劳动，这可能会加剧贫富差距。富人会更富，穷人会更穷。全民基本收入可能有助于解决温饱问题，但无法解决尊严问题。”

“AI 智能体很快会意识到，获取更多控制权是实现任何目标的有效途径，即使它们怀有善意，人类也会沦为配角。”

“我没有爱因斯坦的那种感觉（后悔发明原子弹），也不后悔我所做的事情。”

本次访谈的主持人 Curt Jaimungal 是多伦多大学数学物理专业的毕业生，和 Hinton“师出同门”。在那里，他不仅与 Hinton 教授有过交集，还与他的杰出学生如 Ilya Sutskever 和 Andrej Karpathy 同窗共读。

谈话中，Hinton 深刻质疑了我们关于人类特殊性的根本认知。他是否如同现代的奥本海默？抑或是这位睿智的思想家看到了我们所未能察觉的危机？

以下是访谈全文，由 CSDN 精编整理：

AI 具身化也会改变人类对它的认知

主持人：曾经有心理学家或神经学家认为脑桥与意识相关，最近的研究又把自我意识与默认模式网络联系起来。那么，AI 系统中是否有某个部分负责自我意识？它在哪里？

Geoffrey Hinton：我认为需要有某种硬件来运行它，那个运行着系统的整体才可能具有意识。如果某物要有意识，我认为软件本身必须在某种硬件上运行才行。

思考这个问题的好方法是考虑 AI 系统具身化后会是什么样子。这种情况很快就会到来，因为人们正在开发战斗机器人，虽然这不是什么好事。但假设一个战斗机器人已经推算出你晚上会独自出现在某个黑暗的小巷里，它决定趁你最不防备时从背后偷袭你。在讨论这种情况时，谈论战斗机器人“相信”什么是完全合理的。

我们谈论战斗机器人的信念，就像谈论人类的信念一样。机器人可能会认为“如果发出声音，目标就会转身发现我”。它的这种“认为”与人类的思考方式非常相似。它可能有“意图”——比如意图偷袭你。

所以我认为，一旦这些 AI 系统实现具身化，我们对使用“相信”、“意图”和“思考”这些词的抗拒就会消失。

实际上，这种转变已经在发生。比如当我与聊天机器人交谈时，如果它开始推荐一些不相关的内容，我过一会儿可能会想：“啊，这个聊天机器人一定以为我是个青少年女孩，所以才会给我推荐这些化妆品、服装和男孩乐队之类的内容。”

如果我问聊天机器人：“你认为我是什么样的用户？”

然后它回答说：“我认为你是个青少年女孩。”当它这样说时，我们完全不会怀疑这就是它的真实想法。

在日常用语中，我们会直接说“这个 AI 好搞笑，它认为我是个青少年女孩”，而不会说“这个 AI 只是一堆软件或神经网络，它表现得好像认为我是个青少年女孩”。

这证明我们在与 AI 系统交互时，已经在用“认为”和“相信”这样的词来描述它们，尽管它们没有明显的硬件载体。我们已经在把心理状态归因于 AI，但我们对心理状态的理解是错误的。我们总以为心智是一个“内部剧场”，但这并不是心理状态的真正本质。

主持人：像你的诺贝尔奖得主同事 Roger Penrose，他对这个问题是怎么看的？

Geoffrey Hinton：让我给你讲个有趣的故事。很久以前，Penrose 受邀到多伦多大学演讲他的新书《皇帝的新思想》。院长打电话问我是否愿意做介绍人。我说“当然可以”，她很感激。

然后我说：“等等，在你答应之前，你得知道我要说什么。”

她问我打算说什么，我回答：“我会说 ‘Roger Penrose 是位杰出的数学物理学家，为物理学做出了巨大贡献，但他今天要讲的内容完全是垃圾’。”

这就是我对 Penrose 关于意识观点的评价。具体来说，他犯了一个根本性的错误——让我想想怎么表达比较恰当，因为这肯定会引起争议。问题是这样的：数学家能否凭直觉知道那些无法被证明的真理？如果数学家的直觉总是正确的，那确实会很令人担忧。如果他们每次都能准确无误，那就意味着某种神奇的事情在发生。

但现实并非如此。数学家也有直觉，有时对有时错。这本身就说明了问题：我们不需要用量子力学来解释数学家的思维方式。实际上，我认为根本不需要用量子力学来解释意识这样的现象。看看 AI 的发展就知道了，我们已经制造出了聊天机器人，正如我前面提到的，只要给它们配上摄像头，它们就能有主观体验。人类的任何特质都不需要用量子力学来解释。

主持人：Penrose 的论点是否建立在数学家必须 100% 正确直觉的基础上？

Geoffrey Hinton：确实，如果数学家只是在做猜测，那没什么问题。但如果他们真的有某种方法，能始终正确地回答那些系统内无法证明的问题，那就值得担忧了。但事实是，他们做不到，他们会犯错。

主持人：能否概述一下 Penrose 的具体论点？

Geoffrey Hinton：我不想详细讲，但据我理解，他的论点包含两个方面。

第一，他认为经典计算无法解释意识。我觉得这是个重大错误，源于他对意识本质的误解。

第二，他认为数学家能直觉到那些无法证明的真理，这表明有某种特殊的事情在发生。但除非数学家的直觉每次都准确无误，否则这个论点站不住脚。

主持人：我相信你听说过中文房间实验？

Geoffrey Hinton：是的，这个名词让我想起 1990 年的一件事。我当时受邀与 John Searle 一起参加电视节目。我先打电话问我的朋友 Dan Dennett：“我该去吗？”

他说：“你知道，他会想让你出丑。如果你要去，千万别谈中文房间论点。”

结果我去了，在一小时的访谈中，John Searle 开场就说：“Geoffrey Hinton 是连接主义者，所以他当然对中文房间论点没意见。”

这完全违背了我们的约定，而且说的也不对。实际上，我对中文房间论点有很多异议。我认为这是个有意误导人的论点，是个不诚实的论点。

让我解释下中文房间论点：假设我们建立一个由讲中文的人组成的系统，他们互相用中文传递信息。你向这个系统输入一个英文句子，系统内的人会用中文相互传递信息，最终能给出回答，尽管其中没有一个人懂英语，他们只是在执行程序。

这个论点的问题在于故意混淆了两个层面：整体系统和个体。整个系统确实理解英语，尽管内部的个人不懂。Searle 想让人们相信，因为里面的人不懂英语，所以整个系统也不可能理解英语。这种推理是错误的。系统作为一个整体是能够理解英语的。

中国 AI 的优势，开源 AI 的危险？

主持人：说到中文——正好聊聊中国，很多 AI 研究人员都没预料到中国会在 AI 领域追赶上西方。你怎么看这个现象和它的影响？

Geoffrey Hinton：我认为中国还没有完全追上，但已经非常接近了。

美国试图通过限制最新英伟达芯片的供应来减缓中国的发展速度。英伟达可能会找到变通办法。即使禁运奏效，也只会促使中国开发自己的技术。

他们可能会落后几年，但终究会赶上来。因为中国的 STEM 教育比美国做得好，他们有更多受过良好教育的人才。

主持人：你了解 Marc Andreessen（硅谷知名投资人，网景之父）吗？他认为——

Geoffrey Hinton：哦，是的，我大概在所有事情上都和他持相反意见。

主持人：好，我们来谈一个具体问题。他说：“我不理解你们怎么能封锁 AI 发展。”这是他对政府官员说的，因为官员们声称如果 AI 发展失控，我们可以封锁它。

他当时质疑道：“这怎么可能？AI 的数学原理已经公开，全网都开源了。”

对此，官员们回应说：“在冷战时期，我们就曾经对整个物理学领域进行过分类管制，使其从研究界消失。如果必要的话，我们也可以对 AI 底层数学采取同样的措施。”

Geoffrey Hinton：得了吧——那在这点上我确实同意 Andreessen 的看法，因为封锁 AI 发展根本不现实。比如说，谷歌在 2017 年本可以选择不公布 Transformer，可能会让其他人晚几年才想到类似的东西。但也就能拖延几年而已。要完全阻止信息传播几乎是不可能的。

主持人：你不认为政府可以像管制物理学那样管制一些基础数学，比如线性代数？

Geoffrey Hinton：不可能。他们最多能让某些信息更难获取，稍微减缓发展速度。但想通过封锁信息来阻止他们发展 AI 是不现实的。新想法的产生有其特定的时代背景。经常会发生这样的情况：当一个人提出新想法时，差不多同一时期，其他人也会独立想到类似的东西，因为他们共享着同样的时代精神。除非你能改变整个时代精神，否则就无法阻止新想法的产生。即使保密，几年后其他人也会想到同样的东西。

主持人：那么 AI 的去中心化呢？这是个热门话题。有人说："这就像把原子弹交给任何想要的人。"

Geoffrey Hinton：没错，我也是这么说的。

主持人：但也有人说，这是防止“天网”场景的必要防护，我们需要多个去中心化的 AI 系统相互制衡。

Geoffrey Hinton：等等，我们得先理清“去中心化”的两个不同含义。让我们谈谈权重共享这个问题。想想看，为什么阿拉巴马州不能拥有核弹？因为制造核弹需要裂变材料，而获取裂变材料极其困难，需要大量时间和能源。有了裂变材料后，制造核弹反而是相对容易的。这就是为什么政府严格控制裂变材料，你不可能在 eBay 上买到。这也解释了为什么小国家没有核弹。

同样的道理适用于大语言模型。一个训练好的基础模型可能耗资 1 亿到 10 亿美元，在海量数据上训练后获得强大的能力。如果你公开发布这个模型的权重，任何人都可以对其进行微调，用于各种危险的目的。这就是为什么我认为公开发布这些大模型的权重是一个疯狂的决定，因为这些权重本应该是我们控制恶意使用的重要手段。但现在 Meta 已经这么做了，其他公司也纷纷效仿。现在说这个为时已晚，猫已经跳出了袋子。但这确实是个危险的决定。

贫富差距还是会加剧

主持人：说到基础模型，最近人工智能的繁荣很大程度上归功于 Transformer 架构。你觉得未来还会有其他重大突破吗？无论是新的范式还是其他架构？

Geoffrey Hinton：我认为会有其他同等规模的突破，因为科学就是这样发展的。但我不知道具体会是什么。如果我知道，我早就去做了。

主持人：你会去做吗？

Geoffrey Hinton：我现在年纪太大了，可能会让学生去做。

主持人：我想问的是，你如何平衡自己过去在人工智能领域的贡献和现在的担忧？你会继续为这个领域做贡献吗？

Geoffrey Hinton：问题在于，人工智能对很多事情都非常有用，比如改善医疗、应对气候变化、开发更好的材料，甚至可能帮助发现室温超导体。这些都是对人类有益的事情。我认为人工智能的发展不会停止，因为竞争太激烈了，而且减缓发展既不现实也不明智。我们能做的，是在它发展的同时，努力确保它的安全性。

主持人：所以，你觉得人工智能的发展像一块无法阻挡的巨石，而你也在推动这块巨石。如果你看到一个重大突破即将到来，你会全身心投入其中吗？

Geoffrey Hinton：只要这与确保安全性相结合，我会的。我后悔没有更早意识到它的危险性，但我不后悔我所做的工作。人工智能的发展是不可避免的，因为国家和公司之间的竞争太激烈了。我们应该把精力集中在如何安全地发展它上，而不是试图减缓它的发展。

主持人：爱因斯坦曾说过，如果他早知道原子弹的后果，他宁愿烧掉自己的手。你有类似的感觉吗？

Geoffrey Hinton：其实我没有。

也许我应该有这种感觉，但我并不后悔我所做的事情。我确实对它可能导致一些坏事而感到后悔，但我从来不会回头想：“哦，我真希望自己从未做过那些研究。”

我认为 AI 的发展是不可避免的，因为国家和公司之间的竞争太激烈了，我们别无选择。所以，我们应该把精力集中在如何安全地发展 AI 上，而不是试图减缓它的发展。这两者是非常不同的。

主持人：除了对齐问题，人工智能的安全发展还意味着什么？

Geoffrey Hinton：我们需要应对一些短期风险。比如致命自主武器，这需要类似《日内瓦公约》的协议，但通常只有在糟糕的事情发生后，人们才会采取行动。还有伪造视频和图像干扰选举的问题，特别是针对特定个人的情况。我们需要建立一个更好的系统来验证视频和图像的来源。

最初我认为应该标记伪造内容，但现在我觉得更重要的是确保来源的可信度，就像电子邮件系统会提示“不要轻信，来源无法确认”一样。关于歧视和偏见，我们可以通过冻结系统的权重并测量其偏见来稍微纠正它。虽然无法完全消除偏见，但可以让系统比训练数据更少偏见。通过不断迭代，偏见会逐渐减少。

至于工作问题，人工智能会取代许多平凡的脑力劳动，这可能会加剧贫富差距。富人会更富，穷人会更穷。全民基本收入可能有助于解决温饱问题，但无法解决尊严问题。

人类注定沦为配角

主持人：你是在什么时候意识到人工智能的发展速度已经超出了我们的控制能力？

Geoffrey Hinton：大约在 2023 年初，这源于两个关键发现。首先是 ChatGPT 的惊人表现。其次是我在谷歌研究模拟计算节能方案时，发现数字计算具有显著优势：它能创建同一模型的多个副本，每个副本可以获得不同经验，并通过平均权重或权重梯度来共享学习成果。这在模拟系统中是无法实现的。

主持人：人类大脑作为模拟系统，它有什么优势吗？

Geoffrey Hinton：最大的优势在于能耗和连接规模。人脑只需要 30 瓦就能运行，而且拥有约 100 万亿个连接。相比之下，最大的 AI 模型也只有 1 万亿个连接。也就是说，我们的大脑仍然比最大的模型大近 100 倍，却只需要 30 瓦的功率。

主持人：那么规模扩大会带来什么问题？就像有益的东西可以快速传播，有害的东西是不是也会迅速复制？

Geoffrey Hinton：这涉及到效率问题。如果你有多个模型副本，它们可以高效地共享经验。比如说，GPT-4 掌握如此丰富的知识，正是因为它可以在不同硬件上运行多个副本。通过平均权重梯度，每个副本学到的知识都能被共享。这样就不需要单个副本去处理整个互联网的内容，而是可以在多个副本间分配任务。但人类做不到这一点，因为我们无法高效地共享知识。

主持人：我收集了一个来自 Scott Aaronson（OpenAI 量子计算大神，此前我们也整理过他的采访）的问题：“Hinton 博士，我想听您谈谈，关于在不可克隆的模拟硬件上构建 AI 的想法，这样它们就无法在互联网上自我复制。”

Geoffrey Hinton：这正是人类大脑的运作方式。当我想把知识从我的大脑传递到你的大脑时，我需要通过语言这个媒介。你的大脑会根据我的话语调整神经连接，直到你能表达相同的意思。

这是一种效率很低的知识传递方式，一个句子只能传递大约 100 比特的信息。而大型 AI 模型可以传递数万亿比特。这种模拟系统的局限在于无法直接共享知识。但从安全角度看，这种局限反而成了优势，因为它限制了自我复制的能力。

主持人：你提到对 AI 接管或主导人类的担忧，这具体意味着什么？

Geoffrey Hinton：虽然我们无法准确预测具体情况，但问题在于 AI 智能体需要具备设定子目标的能力。一个令人担忧的发展路径是：它们很快就会意识到获取更多控制权是实现任何目标的有效途径。

即使它们只是试图完成我们交代的任务，也会发现获得更多控制权是最佳选择。一旦它们认识到控制权的重要性，一旦它们超越人类智能，我们就会变得无足轻重。即使它们怀有善意，我们也会沦为配角。就像一个大公司里的傀儡 CEO，实际运营完全掌握在他人手中。

“主观体验”已经不再独属于人类

主持人：你曾说过，“人们很容易认为我们可以直接关掉这些机器，因为现在确实可以。但是想象这些东西比我们聪明得多。它们会阅读所有内容，包括马基雅维利的全部著作，以及所有关于人类欺骗的文学案例。它们会成为操纵人类的专家，因为这些都是从我们这里学来的，而且它们会比我们做得更好。一旦能用语言操纵人类，就能达成任何目的。”

你认为这种情况已经发生了吗？AI 已经在操纵我们了吗？

Geoffrey Hinton：现在已经有证据表明，AI 确实能够进行刻意欺骗。比如，它们能在训练数据和测试数据上表现出不同行为，以此在训练过程中欺骗我们。研究已经证实了这一点。

主持人：你认为这是有意识的行为，还是仅仅是学习到的模式？

Geoffrey Hinton：我倾向于认为这是有意识的，不过这个问题仍有争议。当然，所谓的“有意识”可能本身就只是一种学习到的模式。

主持人：那么你是在说这些 AI 系统已经具备主观体验了吗？

Geoffrey Hinton：这个问题很有意思。目前大多数人，实际上是几乎所有人，都认为我们之所以相对安全，是因为我们拥有 AI 永远不会拥有的特质。这种观点在我们的文化中根深蒂固——我们拥有意识、知觉或主观体验。

很多人坚信 AI 没有知觉，但当你问他们“知觉是什么”时，他们却说“不知道，但 AI 肯定没有”。这种在不知道定义的情况下就确信 AI 缺乏某种特质，这个立场本身就很矛盾。

我更愿意专注于讨论“主观体验”这个概念。我认为，如果我们能证明 AI 有主观体验，那么人们对“AI 没有意识”的信念就会动摇。

让我举个例子。假设我喝醉了，然后告诉你：“我看到小粉象在眼前飘。”

大多数人会完全错误理解这句话，认为我的大脑里有一个“内部剧场”，里面飘着小粉象，只有我能看见。这是人们对心智的标准理解模型，尤其是在感知方面。

但我觉得这个模型完全错了，就像有人相信世界是 6000 年前创造的一样荒谬。这不是你可以选择相信的真理，它就是错的。

我认为，人们对心智的理解模型是错误的。让我换一种方式来表达同样的经历，但不使用“主观体验”这个词。实际上，我的感知系统正在告诉我一些我不相信的信息。这就是为什么我用“主观”这个词。如果真的有粉红小象在飘，那我的感知系统就是在告诉我真相。就这么简单。

我刚才用“小粉象”的例子解释了主观体验，但没有用“主观”或“体验”这些词。实际上，当我的感知系统出错时，我会用“主观”这个词来描述这种错误。然后，我会假设一个世界状态来解释我的感知系统在告诉我什么——如果世界真是那样，我的感知系统就是在告诉我真相。

让我们用这个思路来看聊天机器人。假设我们有一个多模态聊天机器人，它有机械臂、摄像头，还能说话。我们训练它指向物体，它做得很好。然后，我们在它的摄像头前放一个棱镜，再让它指向物体。这次它指错了方向。我们告诉它：“不对，物体在你正前方，但我在你的摄像头前放了棱镜。”

这时，聊天机器人说：“我明白了，棱镜折射了光线，所以物体实际在那里，但我有一种它在另一个位置的主观体验。”

如果它这样说，那它使用“主观体验”这个词的方式和我们完全一样。因此，我认为多模态聊天机器人已经可以拥有主观体验。当它们的感知系统被干扰时，它们会认为世界是一种样子，而实际情况是另一种样子。为了表达这种差异，它们会说“我有某种主观体验”。所以，它们确实已经具备了主观体验。

这让我们对其他问题的确信动摇了。意识显然更复杂，因为它涉及自我反思和自我意识。但一旦我们确认 AI 具有主观体验，我们就必须放弃“我们拥有而AI永远不会拥有的某种特质”这种想法。这让我感到不那么安全。

主持人：那你认为意识和自我意识之间有区别吗？你说意识具有自我反思性，那自我意识呢？

Geoffrey Hinton：是的，确实有区别。不过哲学家们对此已经讨论了很多，我现在不想深入这个话题。我只想先确立主观体验这个基本观点。

主持人：那么，某物拥有主观体验是否意味着它一定有意识？这个主观体验发生在谁身上？在哪里被感知？

Geoffrey Hinton：这正是问题所在。当你问“主观体验在哪里被感知”时，你已经带入了对主观体验的特定理解模型。

如果我说“我看到粉红小象在眼前飘”，而你问“这些小象在哪里”，哲学家会说“在你的心里”。

如果追问“它们是由什么构成的”，哲学家会告诉你是由感质(qualia)构成的——由粉红的感质、大象的感质、飘动的感质、大小的感质和方向的感质，所有这些都用感质胶水粘在一起。

这就是许多哲学家的想法。他们犯了一个语言错误：他们认为“体验”这个词的用法类似于“照片”。如果我说我有一张粉红小象的照片，你可以合理地问“照片在哪里”和“照片是由什么构成的”。人们认为当我说我有粉红小象的体验时，也可以同样追问“体验在哪里？在我的心里。它由什么构成？由感质构成。”——但这完全是错误的。这种理解错在把“体验”当作“照片”那样的实体来看待，但它们的性质完全不同。

当我们使用“体验”或“主观体验”这样的词时，实际上是在表示“我不相信当前的感知”。“体验”是一个标记，表明我接下来要通过描述一个假设的世界状态来解释我的感知系统的工作方式。这就是这种语言的实际用法，而不是在指代某个内部剧场中的实体。

主持人：当我听到“感知”这个词时，它似乎也暗示了一个内部剧场。比如说“我在我的感知系统中看到某物”，听起来好像有一个“我”在观看感知系统提供的信息。这种理解模型也是错的吗？

Geoffrey Hinton：是的，这种理解确实有问题。你不是在“看”你的感知，而是在“拥有”感知。具体来说，是这样的：光子进入眼睛，大脑进行处理，你获得了关于外部世界的某种内部表征。但你并不是在“看”这个内部表征。让我们把这个内部表征称为感知。你不是在看它，你是拥有它。拥有感知就是看见。人们总是试图把这个过程理解为：有个外部世界，信息进入内部剧场，然后你观看内部剧场中的内容。但这不是感知的真实工作方式。

神经网络擅长的恰恰是直觉推理

主持人：继续意识的话题。如果 AI 没有意识或主观体验，你对 AI 发展方向的担忧会减少多少？这与威胁相关吗？还是说这只会加速灾难的到来？

Geoffrey Hinton：我认为这个问题的重要性在于它让大多数人感到相对安全。人们认为“我们拥有而它们永远不会拥有的某种特质”，这让我们感觉更安全、更特别。但事实是，我们既不特别，也不安全。我们绝不是因为拥有主观体验而安全的。

我认为这里的真正问题与其说是科学问题，不如说是哲学问题。人们误解了什么是主观体验。让我用一个例子来说明你可以如何使用词语。你有科学背景，所以你可能认为自己理解“水平”和“垂直”这两个词。这看起来很简单，对吧？如果我指着某物说，这个是垂直的，那个是水平的，似乎没什么难理解的。

但我现在要说服你，你对这些词的工作机制的理解其实是错误的。可能不是完全错误，但有重大问题。让我们做个实验：假设我手里有很多小铝棒。我把它们抛到空中，它们翻转、旋转并相互碰撞。突然时间凝固了，我问你：“有多少根铝棒处于垂直一度范围内，有多少根处于水平一度范围内，还是两者数量差不多？”

大多数人会说数量差不多。但当我告诉你处于水平一度范围内的数量是垂直的 114 倍时，你肯定会感到很惊讶。这是为什么呢？

让我具体解释。想象一根铅笔，它可以竖直立着，这就是垂直位置。如果你稍微倾斜它，它仍然接近垂直。但对于水平位置，情况就不同了——铅笔可以平放，可以像时钟指针一样指向任何方向，只要它保持水平。这就是为什么水平位置有更多可能性：它可以指向任何方向，只要保持与地面平行。

这个简单的例子告诉我们什么？它表明即使是最基础的概念，我们的理解也可能存在盲点。我们习惯了使用“水平”和“垂直”这些词，以为完全理解了它们，但实际上我们忽略了它们更深层的含义。

这正是我想说明的重点：就像我们对“水平”和“垂直”的理解可能存在偏差一样，我们对“意识”、“主观体验”这些概念的理解也可能有误。我们可以正确使用这些词，但我们对它们本质的理解——比如认为存在一个“内心的小剧场”——可能完全是错误的。

主持人：那么，关于感知或主观体验的正确理解应该是什么？为什么你说你的理解比大多数人更接近真相？

Geoffrey Hinton：问题在于，人们总是试图把主观体验看作某种实体，认为它必须存在于某个地方，必须由某种东西构成。

但这两种想法都是错误的。

当我说“主观体验”时，实际上是在表明：我将要描述一个假设的世界状态，一个并不真实存在的状态。它不在任何地方，因为它只是一个假设。

这里有一个重要的区别需要理解。说“我要描述一个假设的情况，它不在任何地方，但如果它存在，它会在外部世界中”和说“我在描述一个位于内心剧场、由某种神秘物质构成的东西”是完全不同的。这是两种截然不同的理解模型。我认为后一种模型——认为存在一个由神秘物质构成的内心剧场——是完全错误的，尽管这是我们几乎所有人都持有的观点。

主持人：感知和主观体验，这两者是否有关联？

Geoffrey Hinton：不，当我们谈论“主观体验”时，实际上是在讨论一种假设的现实世界状态，而不是某种内在的精神体验。不存在所谓的“感质”或由感质组成的东西。我们只是在解释感知系统如何误导我们，假设世界必须是什么样子才能让感知系统告诉我们真相。

主持人：所以，“主观体验”只是我们对感知系统出错的解释？

Geoffrey Hinton：没错。当我们使用“主观体验”这个词时，实际上是在玩一种解释游戏，试图描述感知系统如何误导我们。主观体验并不是一种真实存在的东西。

主持人：任何东西都能有感知系统吗？比如，一本书能有感知系统吗？什么样的东西才算有感知系统？

Geoffrey Hinton：要有感知系统，我认为需要能够形成对外部世界的内部表征。举个例子，一只青蛙看到光线进入眼睛，然后捕捉苍蝇。它显然有感知系统，因为它需要感知苍蝇在哪里。但一本书没有感知系统，因为它既不能感知世界，也不能形成内部表征。

主持人：智能和理性之间有什么区别？

Geoffrey Hinton：这是个很好的问题。让我用一个简单的例子来说明：一只猫可以很聪明，但我们不会说它理性。这是因为当我们谈论理性时，通常指的是逻辑推理能力。但实际上，我们做大多数事情时用的不是逻辑推理，而是直觉判断。

我可以用围棋 AI 程序 AlphaZero 来举例说明。它有几个关键组成部分：一个可以评估棋局好坏的部分，“这个局面对我有利还是不利”；一个可以提供下一步可能走法的部分，“在这个位置，什么样的走法是合理的”；还有一个叫做蒙特卡洛模拟的部分，它会想“如果我走这步，对手走那步，然后我再走这步……哦，结果不太好”。

在这个例子中，蒙特卡洛模拟就像是理性推理，而那些直接判断“这是个好棋”或“这个局面对我不利”的神经网络，就像是直觉判断。人类大多数时候也是依靠直觉在行动。早期的 AI 研究试图让所有事情都通过逻辑推理来完成，这是个重大错误，他们无法取得进展。比如，他们无法处理类比这样的问题。

神经网络擅长的恰恰是直觉推理。这就是为什么在过去 20 年里，我们转向用神经网络来模仿人类的直觉，而不是纯粹的逻辑推理，这让我们取得了更大的进展。

主持人：聪明的人一定更有道德吗？

Geoffrey Hinton：我最近刚读到关于这个问题的讨论。不过因为不确定信息来源的可靠性，我不能说这是确定的结论。但我个人不认为智力和道德水平之间有必然联系。举个例子，Elon Musk 显然非常聪明，但我不会说他特别有道德。

主持人：反过来说，有些人可能非常有道德，但智力并不出众。

Geoffrey Hinton：是的，我也是这么认为的。

主持人：既然你说不太确定，那有什么证据支持随着智力提高，道德水平也会相应提升呢？

Geoffrey Hinton：说实话，我完全不确定它们之间是否有任何关联。我们能看到有些非常聪明的人做出很糟糕的事，也有非常聪明的人做出很好的事。

理解的本质

主持人：“理解”这个词究竟是什么意思？

Geoffrey Hinton：这个问题我很乐意回答。我认为大多数人对理解的本质有误解。比如看看这些大语言模型，很多人，特别是乔姆斯基学派的语言学家们说：“这些模型并不真正理解它们在说什么，它们只是在用统计关联来预测下一个词。”

让我分享一下我的观点。我可能是第一个使用反向传播来训练预测下一个词的语言模型的人。这个模型的目的是展示如何学习词的含义，或者说，如何把一串词转换成特征向量，并学习这些特征之间如何互动。这就是理解的本质。

理解一串文字的过程是这样的：意义不在文字本身，而在于我们如何处理这些文字。我们把文字转换成特征向量（可以理解为词语的不同属性），然后利用这些特征之间的互动来完成各种任务，比如预测下一个词，或者理解模糊词语的具体含义。这个过程在大语言模型和人类大脑中是类似的。

让我用一个更形象的比喻来解释。想象你用乐高积木搭建一辆汽车模型。虽然表面可能不够完美，但基本形状是对的。乐高积木是一种通用的建模工具，用不多几种形状就能搭建出各种东西。

现在，把词语想象成更复杂的乐高积木。这些积木有各自的名字，而且它们不是固定的形状，可以在一定范围内变形。有时候，一个名字可能对应两种完全不同的形状，但它们的变化也不是完全随意的。

我们发明了一个系统，用这种高维度的“积木”来处理比三维物体更复杂的概念。如果你是数学家，你知道高维空间有很多奇特的性质。这些概念“积木”可以变形，相互配合，这就是理解的过程。

这解释了为什么我们能从一个句子中学习到一个陌生词的含义（也就是完形填空）。

比如，如果我说“她用煎锅 scrommed 他”，你就能大致猜出“scrommed”的含义。部分是因为它的发音，部分是因为“ed”结尾表明这是个动词，但更重要的是上下文。你可能会猜测这是“打”或“击打”的意思，虽然也可能是“给他做了一顿美味的煎蛋”的意思，但更可能是某种攻击性的动作。

你是怎么做到的呢？是因为句子中其他的“积木”（词语）都找到了合适的位置，给“scrommed”下了一个特定形状的空缺。这个空缺的形状就告诉了你这个词可能的含义。

这就是我对语言的理解：它是一个我们发明的建模系统，每个词像积木一样有一定的灵活性。我给你一堆这样的积木，你需要找出它们怎么组合在一起。因为每个积木都有名字，所以我可以通过说出这些名字来向其他人传达我的想法。如果对方和我有足够的共同知识，他们就能明白这些积木应该如何组合。

主持人：所以你是在解释理解的本质是什么？

Geoffrey Hinton：是的，我认为这就是我们大脑中发生的过程，也是大语言模型中发生的过程。它们的工作方式和我们类似，这意味着它们确实能够理解。

主持人：乔姆斯基对此提出了一个反驳：语言模型需要海量训练数据，而人类不需要读完整个互联网就能理解语言。你怎么看这个问题？

Geoffrey Hinton：这确实是事实。语言模型需要更多的数据才能学习，它们的统计效率确实比人类低。不过这里有两点需要考虑：

首先，儿童学习语言时，不是仅仅通过听别人说话来学习的。他们是在真实世界中学习，通过与环境的互动来理解语言。如果你训练一个多模态模型（既能看、又能听、还能动的模型），它需要的语言数据就会少很多。给它一个机械手臂和摄像头，让它与世界互动，它学习语言所需的数据量会大大减少。虽然可能仍然比人类需要的多。

第二点更有趣：反向传播算法特别擅长把大量经验提炼成知识，并存储在相对较少的权重中（比如一万亿个权重）。这不是人类面临的问题。我们的问题恰恰相反：我们有海量的神经连接（大约一百万亿个），但我们的寿命只有大约二十亿秒。所以我们的经验其实很有限。

这意味着人类大脑必须高效利用有限的经验。因此，我们可能使用了一种不同于反向传播的学习算法。从这个角度看，乔姆斯基说我们能用更少的知识学习可能是对的。但无论如何，我们学习的核心都是把特征与词语关联起来，并理解这些特征该如何互动。

主持人：有人说，在你和研究生、其他研究人员的会议中，你不像其他机器学习研究会议那样在黑板上写公式，而是更喜欢画图和用手势解释。这种方式有什么特别之处？有什么优缺点？

Geoffrey Hinton：这反映了不同的思维方式。我习惯先用直觉思考，然后再做数学推导。有些人则相反，他们先用方程式推导，然后才形成直觉理解。当然也有人两者都很擅长，比如 David MacKay 就在直觉思维和数学能力上都很出色。但我个人一直都更擅长用空间和图像来思考，而不是用方程式。

无论如何都坚持直觉

主持人：能谈谈你的大学经历吗？你是如何更换专业的，又是什么原因促使你做出这些改变？

Geoffrey Hinton：这是个很长的故事。我最初在剑桥学习物理、化学和晶体学（主要研究 X 射线晶体结构）。但一个月后我就受不了了。那是我第一次离开家独立生活，而且功课太难。于是我退学了，重新申请学习建筑。不过在建筑系待了一天后，我就意识到自己不可能成为一个好建筑师。

于是我又回到了理科，学习物理、化学和生理学。我特别喜欢生理学。一年后，我产生了更深入了解心智的想法，觉得哲学可能会给我答案。所以我又放弃了理科，转去学了一年哲学。我确实学到了一些维特根斯坦的思想，但最终的结果是我对哲学产生了“抗体”。为什么呢？主要是因为哲学都是纯粹的讨论。他们没有一个独立的方法来判断一个理论好坏，没有实验验证。只要听起来有道理就行，这让我很不满意。

后来我又转去学心理学，希望能更多地了解心智，但这又让我感到很烦恼。因为心理学家们往往会提出一个过于简单的理论，然后设计精密的实验来验证它。但这些理论往往一开始就明显站不住脚，那做实验又有什么意义呢？这就是当时大多数心理学研究的情况。

最后我进入了人工智能领域，在那里我们用计算机模拟来研究问题，这让我感觉舒服多了。

主持人：作为教授，从那时到现在，你是如何选择研究课题的？

Geoffrey Hinton：说实话，我可能都说不清自己是怎么做选择的。这是人类最复杂的思维活动之一。我可以谈谈我认为自己是怎么做的，但你也不必完全相信我的解释。

我觉得我的一个方法是这样的：找一个你直觉认为所有人都做错了的领域。当你有这种直觉时，就去想办法做得更好。通常的结果是，你最终会发现为什么人们会那样做，而且会发现你以为更好的方法其实并不更好。但是偶尔，比如说当你认为“每个人都在用逻辑来理解智能，但我们应该用神经网络；理解智能的核心问题是神经网络中的连接强度如何适应”这样的想法，你可能就真的找对了方向。

在你明白为什么自己的直觉是错的、传统方法是对的之前，要坚持你的直觉。这是做出突破性工作的方式。我有个有趣的论点：如果你有好的直觉，你显然应该相信它；如果你的直觉不好，那你做什么都无所谓，所以还不如继续相信你的直觉。

主持人：说到直觉，Ray Kurzweil 做出了很多准确的预测。在 2000 年代初期我就关注他了，当时我觉得"他的预测不可能有一半是对的"，但事实证明他一次又一次地预测正确。这是为什么呢？

Geoffrey Hinton：如果你读他的书，确实会得出这个结论。不过我怀疑他可能也说过一些不太准确的预测，只是这些预测没有被经常提起。但据我所知，他的核心观点是：计算机在不断变快，这种趋势会持续下去，随着计算机变得更快，我们能做的事情也会越来越多。基于这个基本判断，他对计算机什么时候会达到人类智能水平的预测是大致准确的。

主持人：除了我们已经讨论过的 AI 和对齐问题，你是否还有一些其他的预测是你的同事们不认同，但你的直觉告诉你是对的？

Geoffrey Hinton：主要有两点。一个是关于主观体验和意识的本质，我认为大多数人对心理状态的理解模型完全错误。这更偏向哲学层面。

另一个是技术层面的：我始终相信快速权重会变得非常重要。让我解释一下：大脑中的突触能以不同的时间尺度调整，而我们目前的 AI 模型大多没有使用这一特性。为什么不用呢？因为在当前的计算架构下，我们希望多个训练案例使用完全相同的权重，这样可以进行高效的矩阵计算。如果权重能快速调整，那么每个训练案例的权重都会不同，因为它们会迅速适应新情况。

我相信未来需要在慢速权重之上叠加快速权重。慢速权重像现在一样 gradually 调整，而快速权重能够快速适应新情况。这样做会带来很多好处，尽管在现有计算机上效率可能会降低。如果我们用模拟计算机就好了，但目前我们还是要用数字计算机。我认为最终我们必须使用快速权重，因为它能带来很多有用的特性。这是目前大脑和我们的 AI 系统之间的一个重要区别。

让下一代也关注安全问题

主持人：你公开提到自己有点躁郁倾向，会经历长期的极度自我批评和短暂的极度自信。这种状态对你的创造力有影响吗？

Geoffrey Hinton：我要强调的是，是短暂的自信期。

当我有了新想法时，我会变得非常兴奋。我甚至可以用体重来“衡量”我的想法。有时候是“一英镑”的想法，有时候是“五英镑”的想法。事情的经过是这样的：我有了新想法后会非常兴奋，以至于忘记吃饭，结果体重就下降了。所以我可以通过体重下降的程度来衡量这个想法让我有多兴奋。真正好的想法通常会让我减掉大约 5 磅。

主持人：你觉得自己肩负着传承了玄祖父乔治·布尔（19 世纪最重要的数学家之一，是辛顿的曾祖的祖父）衣钵的使命吗？

Geoffrey Hinton：其实没有。我父亲确实经常谈论这种遗传关系，这是个有趣的话题。但我感受到的高期望来自我父亲，而不是来自乔治·布尔。

主持人：是对自己的高期望吗？

Geoffrey Hinton：是的，是对我学术成就的高期望。

主持人：在你心目中，有你想要传承衣钵的继任者吗？

Geoffrey Hinton：不能说完全没有。但我不想把这种压力强加给任何人。

主持人：为什么说“不能说完全没有”而不是直接说没有呢？

Geoffrey Hinton：我有几个侄子在定量分析方面很有天赋。但你知道，不该给他们施加这种压力。

主持人：说到压力，当你离开谷歌时，你公开表达了对 AI 安全的担忧。在做出这个决定并向世界表达这些忧虑时，最困难的部分是什么？

Geoffrey Hinton：说实话，这对我来说并不难。我已经 75 岁了，对吧？这不是说我想继续在谷歌工作，但因为 AI 安全问题而不得不离开。实际上我已经准备好退休了。我发现自己在做研究时经常会忘记变量代表什么含义，这说明是时候退休了。我只是想在离开时提一下 AI 安全问题。不过我确实没有预料到后来发生的事情。

主持人：你在另一次采访中提到，由于编程时经常忘记变量名，你打算随着年龄增长转向研究哲学。

Geoffrey Hinton：这就是我们今天谈论的很多内容。实际上，我是在回到 20 岁左右学哲学时产生的那些见解，并进一步探索它们。

主持人：那么未来有什么计划？

Geoffrey Hinton：过我的养老生活——好吧，说正经的。我认为 AI 会让世界在短期内发生巨大变化，有好的方面，也有坏的方面。我们需要尽己所能来减轻负面影响。我觉得我现在还能做的有意义的事，就是鼓励年轻研究人员关注安全问题。这也是我最近一直在做的事。